丛书 序 


信息 物理 学 是 物 联网 工程 的 理论 基础 


物 联网 是 近年 发 展 起 来 的 一 种 网 络 通信 方式 。 它 来 源 于 互联 网 ， 但 又 不 同 于 互联 网 。 它 不 仅 和 软件 相关 ， 还 涉及 硬件 。 互 联 
网 在 网 上 创造 一 个 全 新 世界 时 所 遇 到 的 “摩擦 系数 ”很 小 ， 因 为 互联 网 主要 和 软件 打交道 。 而 物 联 网 却 涉及 很 多 硬件 ， 硬 件 研发 
又 有 其 物理 客体 所 必须 要 遵循 的 自然 规律 。 


物 联网 和 互联 网 是 能 够 连接 的 。 它 能 将 物品 的 信息 通过 各 种 传感器 采集 过 来 ， 并 汇集 到 网 上 。 因 此 本 质 上 物 联网 是 物 和 物 之 
间或 物 和 人 之 间 的 一 种 交互 。 如 何 揭示 出 物 联 网 的 信息 获取 、 信 息 传输 和 信息 处 理 的 特殊 规律 ， 如 何 深入 探讨 信息 物理 学 的 前 沿 
课题 ， 以 及 如 何 系统 、 完 整地 建立 物 联网 学 科 的 知识 体系 和 学 科 结构 ， 这 些 问题 无 论 是 对 高 校 物 联网 相关 专业 的 开设 ， 还 是 对 物 
联网 在 实际 工程 领域 中 的 应 用 ， 都 是 或 待 解决 的 。 


物 联网 领域 干 帆 竞 渡 ， 百 向 争 流 


物 联网 工程 在 专家 、 学 者 和 政府 官员 提出 的 “感知 地 球 ， 万 物 互联 ”口号 的 推动 下 ， 呈 现 出 空前 繁荣 的 景象 。 物 联网 企业 的 
新 产品 和 新 技术 层出不穷 。 大 大 小 小 的 物 联网 公司 纷纷 推出 了 众多 连接 物 联网 的 设备 ， 包 括 智能 门 锁 、 牙 刷 、 腕 表 、 健 身 记 录 
仪 、 烟 雾 探 测 器 、 监 控 摄 像 头 、 炉 具 、 玩 具 和 机 器 人 等 。 


1. 行 业 巨 头 跑 马 圈 地 ， 产 业 资 本 强势 加 入 


物 联网 时 代 ， 大 型 公共 科技 和 电信 公司 已 遍布 物 联网 ， 它 们 无 处 不 在 ， 几 乎 已 经 活跃 于 物 联网 的 每 个 细 分 类 别 中 。 这 意味 着 
一 个 物 联 网 生态 系统 正在 形成 。 


芯片 制造 商 (英特尔 、 高 通 和 ARM 等 ) 都 在 竞相 争夺 物 联 网 的 心 片 市 场 ; 思科 也 直言 不 讳 地 宣扬 自己 的 “万 物 互联 ” 概 
念 ， 并 在 不 久 前 以 14 亿 美元 的 价格 收购 了 Jasper; 1BM 则 宣布 在 物 联网 业务 中 投资 30 亿 美元 ; AT&T 在 汽车 互联 层面 已 非常 激 
进 ， 已 经 与 美国 10 大 汽车 制造 商 中 的 8 家 展开 合作 ; 苹果 、 三 星 和 微软 也 非常 活跃 ,分别 推 出 了 苹果 Homekit、 三 星 
SmartThings 和 新 操作 系统 ; 微软 还 推出 了 Azure 物 联网 ; 谷歌 公司 从 智能 家 庭 、 智 慧 城 市 、 无 人 驾驶 汽车 到 谷歌 云 ， 其 业务 已 
经 涵盖 了 物 联网 生态 系统 中 的 绝 大 部 分 ， 并 在 这 个 领域 投资 了 数 十 亿美 元 ; 亚马逊 的 AWS 云 服务 则 不 断 发 展 和 创新 ， 并 推出 了 


在 物 联网 领域 中 ， 企 业 投资 机 构 携带 大 量 资金 强势 进入 ， 大 批 初创 企业 成 功 地 从 风险 投资 机 构 筹集 到 了 可 观 的 资金 。 其 中 最 
有 名 的 就 是 Nest Labs Inc， 该 公司 主要 生产 配备 Wi-Fi 的 恒温 器 和 烟雾 探测 器 ; 而 生产 智能 门 锁 的 August 公 司 ， 也 筹资 到 了 
1000 万 美元 …… 


2. 物 联网 创业 公司 已 呈 星 火 粽 原 之 势 


物 联网 创业 公司 的 生态 系统 正在 逐步 形成 。 它 们 特别 专注 于 “消费 级 ”这 一 领域 的 物 联网 应 用 ， 很 多 创业 卵 化 器 都 在 扶植 这 
个 领域 的 创业 军团 。 众 筹 提 供 了 早期 资金 ， 大 型 中 国 制造 商 也 乐意 与 这 些 创业 公司 合作 ， 甚 至 直接 投资 。 一 些 咨 询 公 司 和 服务 提 
供 商 ， 也 做 了 很 多 手把手 的 指导 。 物 联网 创业 已 经 红 红火 火 地 启动 ， 成 为 一 个 全 球 性 现象 。 


3. 高 等 院 校 开设 物 联网 专业 的 热潮 方兴未艾 


近年 来 ， 我 国 理工 类 高 等 院 校 普遍 开设 了 物 联 网 专业 。 数 百 所 高 等 院 校 物 联网 专业 的 学 生 也 已 经 毕业 。 可 以 预见 ， 高 等 院 校 


开设 物 联网 专业 的 热潮 还 将 持续 下 去 。 但 是 在 这 个 过 程 中 普遍 存在 一 些 问题 : 有 的 物 联 网 专业 更 像 电子 技术 专业 ; 有 的 则 把 物 联 
网 专业 办 成 了 网 络 专业 ， 普 人 遍 缺 乏 物 联网 专业 应 有 的 特色 。 之 所 以 如 此 ， 是 因为 物 联网 专业 的 理论 基础 还 没有 建立 起 来 ， 物 联网 
工程 的 学 术 体 系 也 不 完善 。 
物 联 网 工程 引领 潮流 ， 改 变 世 界 

1. 智 慧生 活 ， 更 加 舒适 

科学 家 们 已 经 为 我 们 勾勒 出 了 一 个 奇妙 的 物 联网 时 代 的 智慧 生活 。 

当 你 早上 起 床 ， 吃 完 早餐 ,汽车 已 经 在 门口 停 好 了 ， 它 能 自动 了 解 道路 的 拥堵 情况 ， 为 你 设 定 合理 的 出 行路 线 。 

当 你 到 了 办 公 室 后 ， 计 算 机 、 空 调和 台灯 都 自动 为 你 打开 。 


当 你 快要 下 班 的 时 候 ， 敲 击 几 下 键盘 就 能 让 家 里 的 电 饭 锅 提前 煮 饭 ; 还 可 以 打开 环境 自动 调节 系统 ， 调 节 室 内 温度 和 湿度 ， 
净化 空气 。 


当 你 在 超市 推荐 一 车 购物 品 走向 收 款 台 时 ， 不 用 把 它们 逐个 拿 出 来 刷 条 形 码 ， 收 款 台 边 上 的 解读 器 会 瞬间 识别 所 有 物品 的 电 
子 标签 ， 账 单 会 马上 清楚 地 显示 在 屏幕 上 。 


2. 智 慧 城市 ， 更 加 安全 


物 联网 可 以 通过 视频 监控 和 传感器 技术 ， 对 城市 的 水 、 电 、 气 等 重点 设施 和 地 下 管 网 进行 监控 ， 从 而 提高 城市 生命 线 的 管理 
水 平 ， 加 强 对 事故 的 预防 能 力 。 物 联网 也 可 以 通过 通信 系统 和 GPS 定位 导航 系统 ， 掌 握 各 类 作业 车 辆 和 人 员 的 状况 ， 对 日 常 环卫 
作业 和 垃圾 处 理 等 工作 进行 有 效 地 监管 。 物 联网 还 可 以 通过 射频 识别 技术 ， 建 立户 外 广告 牌 叫 、 城 市 公园 和 城市 地 井 的 数据 库 系 
统 ， 进 行 城市 规划 管理 、 信 息 查询 和 行政 监管 。 


3. 工 业 物 联网 让 生产 更 加 高 效 


物 联网 技术 可 以 完成 生产 线 的 设备 检测 、 生 产 过 程 监控 、 实 时 数据 采集 和 材料 消耗 监测 ， 从 而 不 断 提高 生产 过 程 的 智能 化 水 
平 。 人 们 通过 各 种 传感器 和 通信 网 络 ， 实 时 监控 生产 过 程 中 加 工 产品 的 各 种 参数 ， 从 而 优化 生产 流程 ， 提 高 产品 质量 。 企 业 原 材 
料 采 购 、 库 存 和 销售 等 领域 ， 则 可 以 通过 物 联 网 完善 和 优化 供应 链 管理 体系 ， 提 高 供应 链 的 效率 ， 从 而 降低 成 本 。 物 联网 技术 不 
断 地 融入 到 工业 生产 的 各 个 环节 ， 可 以 大 幅度 提高 生产 效率 ， 改 善 产 品质 量 ， 降 低 生产 成 本 和 资源 消耗 。 

4. 农 业 物 联网 改善 农作物 的 品质 ， 提 升 产量 

农业 物 联网 通过 建立 无 线 网 络 监测 平台 ， 可 以 实时 检测 农作物 生长 环境 中 的 温度 、 湿 度 、pH 值 、 光 照 强 度 、 土 壤 养 分 和 
CO2 浓 度 等 参数 ， 自 动 开 启 或 关闭 指定 设备 来 调节 各 种 物理 参数 值 ， 从 而 保证 农作物 有 一 个 良好 和 适宜 的 生长 环境 。 构 建 智能 
农业 大 棚 物 联网 信息 系统 ， 可 以 全 程 监控 农产品 的 生长 过 程 ， 为 温室 精准 调控 提供 科学 依据 ， 从 而 改善 农作物 的 生长 条 件 ， 最 终 
达到 增加 产量 、 改 善 品质 、 调 节 生 长 周期 和 提高 经 济 效益 的 目的 。 

5. 智 能 交通 调节 拥堵 ， 减 少 事故 的 发 生 


物 联网 在 智能 交通 领域 可 以 辅助 或 者 代替 驾驶 员 和 驾驶 汽车 。 物 联网 车 辆 控制 系统 通过 雷达 或 红外 探测 仪 ， 判 断 车 与 障碍 物 之 
间 的 距离 ， 遇 到 紧急 情况 时 ， 友 出 警报 或 自动 刹车 避让 。 物 联网 在 道路 、 和 车 辆 和 驾驶 员 之 间 建 立 起 快速 通信 联系 ， 给 驾驶 员 提 供 
路 面 交 通 运行 情况 ， 让 驾驶 员 可 以 根据 交通 情况 选择 行驶 路 线 ， 调 节 车 速 ， 从 而 避免 拥堵 。 运 莒 车 辆 管理 系统 通过 车 载 电脑 和 管 


理 中 心计 算 机 与 全 球 定位 系统 卫星 联网 ， 可 以 实现 驾驶 员 与 调度 管理 中 心 之 间 的 双向 通信 ， 从 而 提高 商业 运营 车 辆 、 公 共 汽 车 和 
出 租车 的 运营 效率 。 


6. 智 能 电网 让 信息 和 电能 双向 流动 


智能 电力 传输 网 络 (智能 电网 ) 能 够 监视 和 控制 每 个 用 户 及 电网 节点 ， 从 而 保证 从 电厂 到 终端 用 户 的 整个 输 配 电 过 程 中 ， 所 
有 节点 之 间 的 信息 和 电能 可 以 双向 流动 。 智 能 电网 由 多 个 部 分 组 成 : 智能 变电站 、 智 能 配 电网 、 智 能 电能 表 、 智 能 交互 终端 、 智 
能 调度 、 智 能 家 电 、 智 能 用 电 楼 宇 、 智 能 城市 用 电网 、 智 能 发 电 系统 和 新 型 储 能 系统 。 


智能 电网 是 以 物理 电网 为 基础 ， 采 用 现代 先进 的 传 感 测量 技术 、 通 信 技 术 、 信 息 技术 、 计 算 机 技术 和 控制 技术 ， 把 物理 电网 
高 度 集成 而 形成 的 新 型 电网 。 它 的 目的 是 满足 用 户 对 电力 的 需求 ， 优 化 资源 配置 ， 确 保 电 力 供应 的 安全 性 、 可 靠 性 和 经 济 性 ， 满 
足 环保 约束 ， 保 证 电能 质量 ， 适 应 电力 市 场 化 发 展 ， 从 而 实现 为 用 户 提供 可 靠 、 经 济 、 清 洁 和 互动 的 电力 供应 与 增值 服务 。 智 能 
电网 允许 各 种 不 同 发 电 形式 的 接 入 ， 从 而 启动 电力 市 场 及 资产 的 优化 高 效 运行 ， 使 电网 的 资源 配置 能 力 、 经 济 运 行 效率 和 安全 水 
平 得 到 全 面 提 升 。 


7. 智 慧 医疗 改善 医疗 条 件 


智慧 医疗 由 智慧 医院 系统 、 区 域 卫生 系统 和 家 庭 健康 系统 组 成 。 物 联网 技术 在 医疗 领域 的 应 用 潜力 巨大 ， 能 够 帮助 医院 实现 
对 人 的 智能 化 医疗 和 对 物 的 智能 化 管理 工作 ; 支持 医院 内 部 医疗 信息 、 设 备 信息 、 药 品 信息 、 人 员 信息 、 管 理 信息 的 数字 化 采 
集 、 处 理 、 存 储 、 传 输 和 共享 ;实现 物资 管理 可 视 化 、 医 疗 信息 数字 化 、 医 疗 过 程 数字 化 、 医 疗 流程 科学 化 和 服务 沟通 人 性 化 ; 
能 够 满足 医疗 健康 信息 、 医 疗 设备 与 用 品 、 公 共 卫 生 安全 的 智能 化 管理 与 监控 ， 从 而 解决 医疗 平台 支撑 薄弱 、 医 疗 服务 水 平整 体 
较 低 、 医疗 安 全 生产 隐患 较 大 等 问题 。 


8. 环 境 智 能 检测 提高 生存 质量 


家 居 环 境 监测 系统 包括 室内 温 、 湿 度 及 空气 质量 的 检测 ， 以 及 室外 气候 和 噪声 的 检测 等 。 完 整 的 家 庭 环 境 监测 系统 由 环境 信 
息 采 集 、 环 境 信息 分 析 和 环境 调节 控制 三 部 分 组 成 。 


本 丛书 创作 团队 研发 了 一 款 环 境 参数 检测 仪 ， 用 于 检测 室内 空气 质量 。 产 品 内 置 温度 、 湿 度 、 噪 声 、 光 敏 、 气 敏 、 甲 醛 和 
PM2.5 等 多 个 工业 级 传感器 ， 当 室内 空气 被 污染 时 ， 会 及 时 预警 。 该 设备 通过 Wi-Fi 与 手机 的 App 进 行 连接 ， 能 与 空调 、 加 湿 器 
和 门窗 等 设备 形成 智能 联动 ， 帮 助 改善 家 中 的 空气 质量 。 


信息 物理 学 是 物 联网 工程 的 理论 基础 


把 物理 学 研究 的 力 、 热 、 光 、 电 、 声 和 运动 等 内 容 ， 用 信息 学 的 感知 方法 、 人 处 理 方 法 及 传输 方法 ， 了 映射、 转换 在 电子 信息 领 
域 进行 处 理 ， 从 而 形成 了 一 门 交 叉 学 科 一 一 信息 物理 学 。 


从 物理 世界 感知 的 信息 ， 通 过 网 络 传输 到 电子 计算 机 中 进行 信息 处 理 和 数据 计算 ， 所 产生 的 控制 指令 又 反作用 于 物理 世界 。 
国外 学 者 把 这 种 系统 称 为 信息 物理 系统 (Cyber-Physical Systems，CPS) 。 


物理 学 是 一 门 自然 科学 ， 其 研究 对 象 是 物质 、 能 量 、 空 间 和 时 间 ， 揭 示 它 们 各 自 的 性 质 与 彼此 之 间 的 相互 关系 ， 是 关于 大 自 
然 规 律 的 一 门 学 科 。 


由 物理 学 衍生 出 的 电子 科学 与 技术 学 科 ， 其 研究 对 象 是 电子 、 光 子 与 量子 的 运动 规律 和 属性 ， 研 究 各 种 电子 材料 、 元 器 件 、 
集成 电路 ， 以 及 集成 电子 系统 和 光电 子 系统 的 设计 与 制造 。 


由 物理 学 衍生 出 的 计算 机 、 通 信 工 程 和 网 络 工 程 等 学 科 ， 除 了 专业 基础 课外 ， 其 物理 学 中 的 电磁 场 理论 、 半 导体 物理 、 量 子 


力学 和 量子 光学 ， 仍 然 是 核心 课程 。 


物 联网 工程 学 科 的 设立 ， 要 从 物理 学 中 发 掘 其 理论 基础 和 技术 源泉 。 构 建物 联网 工程 学 科 的 知识 体系 ， 是 高 等 教育 工作 者 和 
物 联网 工程 学 科 建 设 工作 者 的 重要 使 命 。 


物 联网 的 重要 组 成 部 分 是 信息 感知 。 丰 富 的 半导体 物理 效应 是 研制 信息 感知 元 件 和 传 感 必 片 的 重要 载体 。 物 联网 工程 中 信息 
感知 的 理论 基础 之 一 是 半导体 物理 学 。 


物理 学 的 运动 学 和 力学 是 运动 物体 (车辆 、 飞 行 器 和 工程 机 械 等 ) 控制 技术 的 基础 ， 而 自动 控制 理论 是 该 技术 的 核心 。 


物理 学 是 科学 发 展 的 基础 、 技 术 进 步 的 源泉 、 人 类 智慧 的 结晶 、 社 会 文明 的 瑰宝 。 物 理学 思想 与 方法 对 整个 自然 科学 的 发 展 
都 有 着 重要 的 贡献 。 而 信息 物理 学 对 于 物 联 网 工程 的 指导 意义 也 是 清晰 明确 的 。 


对 于 构建 物 联 网 知识 体系 和 理论 架构 ， 我 们 要 思考 学 科 内 涵 、 核 心 概念 、 科 学 符号 和 描述 模型 ， 以 及 物 联网 的 数学 基础 。 我 
们 把 半导体 物理 和 微 电 子 学 的 相关 理论 作为 物 联网 感知 层 的 理论 基础 ; 把 信息 论 和 网 络 通信 理论 作为 物 联网 传输 层 的 参考 坐标 ; 
把 数理 统计 和 数学 归纳 法 作为 物 联网 大 数据 处 理 的 数学 依据 ; 把 现代 控制 理论 作为 智能 硬件 研发 的 理论 指导 。 只 有 归纳 和 提炼 出 
物 联网 学 科 的 学 科 内 涵 、 数 理 结构 和 知识 体系 ， 才 能 达到 “ 厚 基础 ， 重 实践 ， 求 创新 ”的 人 才 培 养 目 标 。 


丛书 介绍 


国务 院 关 于 印发 《新 一 代 人 工 智 能 发 展 规划 》 (以 下 简称 《规划 》) 国 发 【2017] 35 号 文件 指出 ， 新 一 代 人 工 智能 相 天 学 
科 发 展 、 理 论 建 模 、 技 术 创新 、 软 硬件 升级 等 整体 推进 ， 正 在 引发 链 式 突破 ， 推 动 经 济 社会 各 领域 从 数字 化 、 网 络 化 向 智能 化 加 
速 跃升 。《 规 划 》 中 提 到 ， 要 构建 安全 高 效 的 智能 化 基础 设施 体系 ， 大 力 推动 智能 化 信息 基础 设施 建设 ， 提 升 传统 基础 设施 的 智 
能 化 水 平 ， 形 成 适应 智能 经 济 、 智 能 社会 和 国防 建设 需要 的 基础 设施 体系 。 加 快 推动 以 信息 传输 为 核心 的 数字 化 、 网 络 化 信息 基 
础 设施 ， 向 集 感 知 、 传 输 、 存 储 、 计 算 、 人 处理 于 一 体 的 智能 化 信息 基础 设施 转变 。 优 化 升级 网 络 基 础 设施 ， 研 发 布局 第 五 代 移动 
通信 (5G) 系统 ， 完 善 物 联网 基础 设施 ， 加 快 天 地 一 体 化 信息 网 络 建设 ， 提 高 低 时 延 、 高 通 量 的 传输 能 力 .….. 由 此 可 见 ， 物 联网 
的 发 展 与 建设 将 是 未 来 几 年 乃至 十 几 年 的 一 个 重点 方向 ， 需 要 我 们 高 度 重 视 。 


在 理工 类 高 校 普 遍 开设 物 联 网 专业 的 情况 下 ， 国 内 教育 界 的 学 者 和 出 版 界 的 专家 ， 以 及 社会 上 的 有 识 之 士 呼吁 开展 下 列 工 
作 : 


梳理 物 联 网 工程 的 体系 结构 ; 归纳 物 联网 工程 的 一 般 规 律 ; 构 建物 联网 工程 的 数理 基础 ; 总结 物 联网 信息 感知 和 信息 传输 的 
特有 规律 ; 研究 物 联网 电路 低 功 耗 和 高 可 靠 性 的 需求 ; 制定 具有 信 源 多 、 信 息 量 小 、 持 续 重复 而 不 间断 特点 的 区 别 于 互联 网 的 物 
联网 协议 ; 研发 针对 万 物 互联 的 物 联网 操作 系统 ; 搭建 小 型 分 布 式 私有 云 服务 平台 。 这 些 都 是 物 联网 工程 的 葛 基 性 工作 。 


基于 此 ， 我 们 组 织 了 一 批 工作 于 科研 前 沿 的 物 联 网 产品 研发 工程 师 和 高 校 教师 作为 创作 团队 ， 编 写 了 这 套 “ 物 联 网 工程 实战 
从 书 ”。 从 书 先 推出 以 下 6 卷 : 


《 物 联网 之 源 : 信息 物理 与 信息 感知 基础 》 
《 物 联 网 之 必 : 传感器 件 与 通信 心 片 设计 》 
《 物 联网 之 魂 : 物 联 网 协议 与 物 联网 操作 系统 》 
《 物 联网 之 云 : 云 平台 搭建 与 大 数据 处 理 》 


《 物 联 网 之 雾 : 基于 雾 计算 的 智能 硬件 快速 反应 与 安全 控制 》 


《 物 联 网 之 智 : 智能 硬件 开发 与 智慧 城市 建设 》 


丛书 创 作 团 队 精 心地 梳理 出 了 他 们 对 物 联网 的 理解 ， 归 纳 出 了 物 联 网 的 特有 规律 ， 总 结 出 了 智能 硬件 研发 的 流程 ， 贡 献 出 了 
云 服 务 平台 构建 的 成 果 。 工 作 在 研发 一 线 的 资深 工程 师 和 物 联 网 研究 领域 的 青年 才 俊 们 贡献 了 他 们 丰富 的 项 目 研发 经 验 、 工 程 实 
践 心 得 和 项 目 管理 流程 ， 为 “百花 齐 放 ， 百 家 争鸣 ”的 物 联网 世界 增加 了 一 抹 靓 丽 景色 。 


丛书 全 面 、 系 统 地 前 述 了 物 联 网 理论 基础 、 电 路 设计 、 专 用 芯片 设计 、 物 联网 协议 、 物 联网 操作 系统 、 云 服务 平台 构建 、 大 
数据 处 理 、 智 能 硬件 快速 反应 与 安全 控制 、 智 能 硬件 设计 、 物 联网 工程 实践 和 智慧 城市 建设 等 内 容 ， 勾 勒 出 了 物 联 网 工程 的 学 科 
结构 及 其 专业 必修 课 的 范畴 ， 并 为 物 联网 在 工程 领域 中 的 应 用 指明 了 方向 。 


丛书 从 硬件 电路 、 芯 片 设计 、 软 件 开发 、 协 议 转 换 ， 到 智能 硬件 研发 (小 项 目 ) 和 智慧 城市 建设 (大 工程 ) ， 都 用 了 很 多 篇 
幅 进行 前 述 ， 系 统 地 介绍 了 各 种 开发 工具 、 设 计 语言 、 研 发 平台 和 工程 案 列 等 内 容 ; 充分 体现 了 工程 专业 “理论 扎实 ， 操 作 见 
长 ”的 学 科 特 色 。 


从 书 理论 体系 完整 、 结 构 严 谨 ， 可 以 提高 读者 的 学 术 素 养 和 创新 精神 。 通 过 系统 的 理论 学 习 和 技术 实践 ， 让 读者 在 信息 感知 
研究 方向 具备 了 丰富 的 敏感 元 件 理 论 基础 ， 所 以 会 不 断 发 现 新 的 敏感 效应 和 敏感 材料 ， 在 信息 传输 研究 方向 ， 因 为 具备 通信 理论 
的 涵养 ， 所 以 他 们 会 不 断 地 制定 出 新 的 传输 协议 和 编码 方法 ; 在 信息 处 理 研究 领域 ， 因 为 具有 数理 统计 方法 学 的 指导 ， 所 以 他 们 
会 从 特殊 事件 中 发 现 事物 的 必然 规律 ， 从 而 会 从 大 量 无 序 的 事件 中 归纳 出 一 般 规 律 。 


本 丛书 可 以 为 政府 相关 部 门 的 管理 者 在 决策 物 联网 的 相关 项 目 时 提供 参考 和 依据 ， 也 可 以 作为 物 联网 企业 中 相关 工程 技术 人 
员 的 培训 教材 ， 还 可 以 作为 相关 物 联 网 项 目的 参考 资料 和 研发 指南 。 另 外 ， 对 于 高 等 院 校 的 物 联网 工程 、 电 子 工程 、 电 气 工程 、 
通信 工程 和 自动 化 等 专业 的 高 年 级 本 科 和 研究 生 教学 ， 本 丛书 更 是 一 套 不 可 多 得 的 教学 参考 用 书 。 


相信 这 套 从 书 的 “基础 理论 部 分 ”对 物 联网 专业 的 建设 和 物 联 网 学 科 理 论 的 构建 能 起 到 奠基 作用 ， 对 相关 领域 和 高 校 的 物 联 
网 教学 提供 帮助 ; 其 “工程 实践 部 分 ”对 物 联 网 工程 的 建设 和 智能 硬件 等 产品 的 设计 与 开发 起 到 引领 作用 。 


丛书 创作 团队 


本 丛书 创作 团队 的 所 有 成 员 都 来 自 于 一 线 的 研发 工程 师 和 高 校 教 学 与 研发 人 员 。 他 们 都 曾经 在 各 自 的 工作 岗位 上 做 出 了 出 色 
的 业绩 。 下 面 对 从 书 的 主要 创作 成 员 做 一 个 简单 介绍 。 


曾 几 太 ， 山 东 大 学 信息 科学 与 工程 学 院 高 级 工程 师 。 已 经 出 版 “EDA 工 程 从 书 ” ( 共 五 卷 ， 清 华 大 学 出 版 社 出 版 ) 、《 现 代 
电子 设计 教程 》 (高 等 教育 出 版 社 出 版 ) 、《PCI 总 线 与 多 媒体 计算 机 》 (电子 工业 出 版 社 出 版 ) 等 书 ， 发 表 论文 数 十 篇 ， 申 请 
发 明 专利 4 项 。 


崔 强 ， 毕 业 于 山东 大 学 信息 学 院 ， 获 工学 硕士 学 位 。 电 信 系 统 物 联网 项 目 专家 、 高 级 工程 师 、 一 级 建造 师 、 注 册 咨询 工程 
师 。 现 就 职 于 广东 省 电信 规划 设计 院 ， 从 事 5G 通 信 网 络 研究 工作 。 承 担 过 20 多 项 网 络 规划 设计 工程 。 在 核心 期 刊 上 发 表 了 6 篇 论 
文 ， 获 国家 优秀 设计 奖 3 项 。 


边 栋 ， 毕 业 于 大 连理 工大 学 ， 获 硕士 学 位 。 曾 经 执教 于 山东 大 学 微 电 子 学 院 ， 指 导 过 本 科 生 参加 全 国电 子 设计 大 赛 ， 屡 创 佳 
绩 。 在 物 联 网 设计 、FPGA 设 计 和 1C 设 计 实 验 教 学 方面 颇 有 建树 。 目 前 在 山东 大 学 微 电 子 学 院 攻读 博士 学 位 ， 研 究 方向 为 电路 与 


曾 鸣 ， 毕 业 于 山东 大 学 信息 学 院 ， 获 硕士 学 位 。 资 深 网 络 软件 开发 工程 师 ， 精 通 多 种 网 络 编程 语言 。 曾 就 职 于 山东 大 学 微 电 
子 学 院 ， 从 事 教 学 科研 管理 工作 。 目 前 在 山东 大 学 微 电 子 学 院 攻读 博士 学 位 ， 研 究 方向 为 电路 与 系统 。 


孙 昊 ， 毕 业 于 山东 大 学 控制 工程 学 院 ， 获 工学 硕士 学 位 。 网 络 设备 资深 研发 工程 师 。 曾 就 职 于 华为 技术 公司 ， 负 责 操 作 系统 
软件 的 架构 设计 ， 并 担任 C 语 言 和 Lua 语 言 讲 师 。 申 请 多 项 |SSU 技 术 专利 。 现 就 职 于 浪潮 电子 信息 产业 股份 有 限 公 司 ， 负 责 软件 
架构 设计 工作 。 


王 见 ， 毕 业 于 山东 大 学 。 物 联网 项 目 经 理 、 资 深 研发 工程 师 。 曾 就 职 于 华为 技术 公司 ， 有 9 年 的 底层 软件 开发 经 验 和 系统 架 
构 经 验 ， 并 在 项 目 经 理 岗 位 上 积累 了 丰富 的 团队 建设 经 验 。 现 就 职 于 浪潮 电子 信息 产业 股份 有 限 公司 。 


张 士 辉 ， 毕 业 于 青岛 科技 大 学 。 资 深 App 软 件 研 发 工程 师 ， 在 项 目 开发 方面 成 绩 裴 然 。 曾 经 负责 过 复杂 的 音 视 频 解 码 项 目 ， 
并 在 互联 网 万 兆 交换 机 开发 项 目 中 负责 过 核心 模块 的 开发 。 


赵 帅 ， 毕 业 于 沈阳 航空 航天 大 学 。 资 深 网 络 设备 研发 工程 师 ， 从 事 Android 平 板 电 脑 系统 嵌入 式 驱 动 层 和 应 用 层 的 开发 工 
作 。 曾 经 在 语音 网 天 研发 中 改进 了 DSP 中 的 语音 编 解 码 及 回声 抵消 算法 。 现 就 职 于 浪潮 电子 信息 产业 股份 有 限 公司 。 


李 同 滨 ， 毕 业 于 电子 科技 大 学 自动 化 工程 学 院 ， 获 工学 硕士 学 位 。 绕 入 式 研 发 工程 师 ， 主 要 从 事 嵌 入 式 硬 件 电路 的 研发 ， 主 


导 并 完成 了 多 个 嵌入 式 控制 项 目 。 


徐 胜 朋 ， 毕 业 于 山东 工业 大 学 电力 系统 及 其 自动 化 专业 。 电 力 通信 资深 专家 、 高 级 工程 师 。 现 就 职 于 国 网 山东 省 电力 公司 淄 
博 供 电 公 司 ， 从 事 信 息 通信 管理 工作 。 曾 经 在 中 文 核心 期 刊 发 表 了 多 篇 论文 。 荣 获 国家 优秀 质量 管理 成 果 奖 和 技术 创新 奖 。 申 请 
发 明 专 利和 实用 新 型 专利 授权 多 项 。 


曾 波 ， 资 深 智 能 医疗 设备 研发 工程 师 ， 具 有 10 年 以 上 的 医疗 器 械 研发 工作 经 验 。 曾 经 研发 了 心 电 信 号 监测 和 心脏 起 搏 器 等 
产品 。 现 就 职 于 北京 若 阳 丰 业 医疗 设备 公司 ， 负 责 管理 硬件 研发 部 ， 并 从 事 18 导 联动 态 心 电 产 品 的 研发 和 生产 工作 。 


古 欣 ， 毕 业 于 山东 大 学 物理 学 院 微 电 子 学 专业 。 济 南 有 人 物 联网 技术 有 限 公司 创始 人 兼 CEO。 工 业 物 联网 专家 ， 从 事物 联 
网 嵌入 式 模块 和 云 平 台 系统 的 研发 。 拥 有 专利 10 余 项 。 其 公司 的 工业 物 联网 模块 和 通信 产品 已 经 面市 。 


刘 美 丽 ， 毕 业 于 中 国 石油 大 学 (北京 ) ， 获 工学 硕士 学 位 。 山 东 农业 工程 学 院 副教授 、 高 级 技师 。 从 事 自动 控制 和 农业 物 联 
网 领域 的 研究 。 已 出 版 《MATLAB 语 言 与 应 用 》 (国防 工业 出 版 社 ) 和 《单片机 原理 及 应 用 》 (西北 工业 大 学 出 版 社 ) 两 部 著 
作 。 发 表 国家 级 科技 核心 论文 4 篇 ， 并 主持 山东 省 高 校 科 研 计划 项 目 1 项 。 


本 丛书 涉及 面 广 ， 内 容 繁杂 ， 既 要 兼顾 理论 基础 ， 还 要 突出 工程 实践 ， 这 对 于 整个 创作 团队 来 说 都 是 一 个 严峻 的 挑战 。 令 人 
欣慰 的 是 ， 创 作 团 队 的 所 有 成 员 都 在 做 好 本 职工 作 的 条 件 下 依然 坚持 写作 ， 付 出 了 辛勤 的 劳动 ， 最 终 天 道 酬 勤 ， 成 就 了 这 套 从 书 
的 出 版 。 在 此 对 所 有 参与 写作 的 成 员 表 示 表 心 的 感谢 ， 并 祝福 他 们 事业 有 成 ! 


丛书 服务 与 支持 
本 丛书 开通 了 读者 服务 网 站 www.iotengineer.cn， 还 申请 了 读者 服务 的 微 信 公 众 号 。 大 家 可 以 通过 访问 读者 服务 网 站 ， 或 


者 扫描 下 面 的 读者 服务 二 维 码 ， 与 作者 共同 交流 书 中 的 相关 问题 ， 探 讨 物 联网 工程 的 有 关 话 题 。 另 外 ， 读 者 还 可 以 发 送 电子 邮件 
到 hzbook2017@163.com， 以 获得 帮助 。 


伴随 着 互联 网 的 快速 友 展 ， 人 们 很 自然 地 将 用 户 端 延伸 和 扩展 到 任何 物 与 物 间 的 互联 ， 物 联网 因此 而 浮 出 了 水 面 。 物 联网 被 
认为 是 信息 产业 的 又 一 次 浪潮 。 


单纯 的 物 联网 还 不 足以 带 来 体验 的 大 变革 ， 只 有 结合 了 方便 的 应 用 才能 发 挥 出 更 大 的 作用 ， 所 以 云 计算 应 运 而 生 。 云 计算 的 


出 现 ， 犹 如 给 物 联网 的 发 展 插 上 了 姓 膀 ， 使 物 联 网 拥有 了 更 好 的 应 用 体验 。 所 以 大 家 普遍 的 一 种 看 法 是 ， 云 计算 是 物 联网 发 展 的 
基石 ， 物 联网 和 云 计算 的 融合 发 展 将 会 深刻 地 改变 我 们 的 未 来 。 


首先 ， 云 计算 技术 能 够 轻而易举 地 把 计算 能 力 送 到 众人 手中 。 面 对 物 联网 的 海量 数据 ， 云 计算 的 强大 计算 能 力 势必 要 被 应 用 
在 物 联网 上 。 于 是 ， 基 于 并 行 分 布 式 计算 的 云 计 算 能 力 逐 渐 被 应 用 在 需要 数据 挖掘 和 数据 分 析 的 物 联网 领域 。 渐 渐 地 ， 人 们 认识 
到 ， 云 计算 可 以 成 为 物 联网 应 用 的 计算 机 大 脑 。 


其 次 ,， 物 联网 应 用 “ 烟 向 ” 式 发 展 的 局 面 ， 造 成 了 应 用 间 数 据 共享 能 力 的 不 足 ， 同 一 用 户 数 据 无 法 在 多 个 应 用 间 实 现 漫游 ， 
造成 了 行业 和 部 门 间 的 沟 外 。 想 要 打破 这 一 局 面 ， 云 计算 起 码 在 目前 来 看 是 一 种 很 好 的 解决 方案 。 越 来 越 多 的 物 联网 服务 运营 商 
意识 到 ， 基 于 云 计算 技术 构建 统一 的 业务 管理 平台 ， 来 管理 和 运营 不 同 的 物 联网 应 用 ， 既 可 以 解决 上 述 问题 ， 又 可 以 使 得 应 用 开 
发 更 加 统一 和 简单 。 因 此 ， 云 计算 已 经 逐渐 成 为 了 物 联网 应 用 的 管理 和 运营 平台 。 


本 书 是 “ 物 联 网 工程 实战 丛书” 的 第 4 卷 一 一 《 物 联网 之 云 : 云 平台 搭建 与 大 数据 处 理 》。 本 书 主要 讲解 云 计 算 平台 的 搭建 
和 大 数据 处 理 的 相关 知识 及 实践 应 用 。 


对 于 云 计 算 技术 的 讲解 ， 我 们 从 数学 基础 讲 起 ， 进 而 通过 云 计 算 的 发 展 历史 ， 很 自然 地 引出 云 计算 的 概念 、 原 理 和 常见 的 服 
务 模式 ， 通 过 Paas 模 式 引出 当前 常见 的 云 平台 搭建 实战 案例 ;基于 云 平台 提供 的 多 种 应 用 ， 给 出 了 针对 大 数据 在 分 布 式 云 计算 
中 的 一 些 常 见 处 理 方法 。 随 着 信息 安全 越 来 越 被 提 及 和 重视 ， 物 联网 的 信息 安全 也 成 为 其 发 展 过 程 中 一 个 很 重要 的 关注 点 。 面 对 
日 新 月 异 的 信息 技术 ， 雾 技术 和 未 来 云 计算 的 发 展 趋势 也 成 为 了 非常 重要 的 考量 点 。 本 书 主要 基于 以 上 技术 方向 进行 深入 浅 出 的 
讲解 ， 更 加 易于 读者 掌握 。 我 们 相信 “ 授 之 以 鱼 ， 不 如 授 之 以 渔 ”。 


在 本 书 的 编写 过 程 中 ， 得 到 了 很 多 朋友 的 支持 和 帮助 ， 在 此 深 表 感谢 和 敬意 ! 特别 感谢 和 我 一 起 从 事 本 书 编写 工作 的 各 位 作 
者 所 付出 的 辛勤 劳动 。 


于 见 


于 山东 济南 


云雾 之 间 
物 联网 上 “ 雾 起 云 涌 ” 


各 位 读者 好 ， 经 过 几 个 月 的 奋力 编写 ，“ 物 联网 工程 实战 从 书 ” 的 第 4 卷 一 一 《 物 联网 之 云 : 云 平台 搭建 与 大 数据 处 理 》 终 
于 要 和 大 家 见面 了 。 本 书 的 主题 是 云 平台 搭建 和 大 数据 处 理 。 有 感 于 这 个 主题 ， 便 有 了 下 面 的 这 段 小 文 : 

远 在 天 边 的 云 ， 美 不 胜 收 ! 

那 是 IT 巨头 的 盛装 表演 ， 是 王者 的 绩 黎 盛宴 。 


私有 云 芯 峰 已 过 ， 混 合 云 正在 崛起 ， 公 有 云 大 战 正本。 


公有 云 服 务 提 供 商 实力 与 谋略 火花 四 溅 。 


开源 云 软 件 之 间 “ 争 风 吃 醋 ” 与 拥抱 并 存 。 


没有 想象 中 的 大 众 狂 欢 ， 只 有 整个 工业 的 呜咽。 
除了 公有 云 三 巨头 ， 其 他 的 云 计 算 公 司 和 IT 企业 却 并 没 想 象 中 的 光鲜 。 
中 小 企业 、IT 创 客 、 传 统 IT 企业 ， 都 只 是 云 的 用 户 。 


它们 没有 能 力 和 IT 巨头 竞争 ， 肉 不 容易 吃 到 ， 只 能 哨 点 骨头 ， 喝 点 肉 汤 ， 但 还 得 天 天 做 贡献 。 


那 就 用 这 本 书 来 安奈 一 下 IT 创 客 们 受伤 的 心灵 ， 邱 救 那些 还 挣扎 于 “水 深 火 热 ” 中 的 传统 IT 企业 吧 ! 何谓 云 ? 哪 是 雾 ? 物 联 
网 上 为 什么 “ 雾 起 云 涌 ”? 且 看 笔者 慢 慢 分 解 。 
云 计 算 模式 

云 计算 是 一 种 商业 模式 ， 是 一 种 服务 模式 ， 是 一 种 计算 服务 模式 ， 更 是 一 种 远程 计算 服务 模式 。 云 计算 的 关键 词 : 虚拟 化 、 
数据 中 心 、 面 向 服务 和 按 需 付费 。 


云 计 算是 一 种 商业 计算 模型 ， 它 将 计算 任务 分 布 在 大 量 计算 机 构成 的 资源 池上 ， 使 用 户 能 够 按 需 获取 计算 能 力 、 存 储 空间 和 
言 息 服 务 。 用 户 可 以 动态 申请 部 分 资源 ， 支 持 各 种 应 用 程序 的 运转 ， 而 无 须 青 为 烦琐 的 细节 烦恼 ， 让 用 户 能 够 更 加 专注 于 自己 的 
业务 ， 从 而 有 利于 提高 效率 ， 降 低 成 本 ， 提 升 技 术 创 新 能 


这 可 是 一 种 革命 性 的 举措 。 打 个 比方 ， 这 就 好 比 是 从 古老 的 单 台 发 电机 模式 转向 了 电厂 集中 供电 模式 。 它 意味 着 计算 能 力也 
可 以 作为 一 种 商品 进行 流通 ， 就 像 煤 气 、 水 和 电 一 样 ， 取 用 方便 ， 而 且 费 用 低廉 。 和 普通 流通 品 最 大 的 不 同 在 于 ， 云 平台 上 资源 
的 流 流通 是 通过 过 互联 网 进 行 传输 的 。 


云 计算 的 核心 理念 是 资源 池 ， 它 将 计算 和 存储 资源 虚拟 成 一 个 可 以 任意 组 合 和 分 配 的 集合 。 池 的 规模 可 以 动态 扩展 ， 分 配给 
用 户 的 处 理 能 力 可 以 动态 回收 重用 。 这 种 模式 能 够 大 大 提高 资源 的 利用 率 ， 也 能 大 大 提升 平台 的 服务 质量 。 


这 种 资源 池 称 为 “ 云 ”。 云 是 一 些 可 以 自我 维护 和 管理 的 虚拟 计算 资源 。 一 些 大 型 服务 器 集群 ， 包 括 计算 服务 器 、 
存储 服务 器 和 宽带 资源 等 。 这 些 计算 资源 只 有 大 型 企业 具备 优势 。 


1. 云 计算 服务 的 三 种 类 型 
* 软件 即 服务 (SaaS) : 提供 服务 运营 商 运行 在 云 计算 基础 设施 上 的 应 用 程序 ， 如 浏览 器 
. 平台 即 服务 (PaaS) : 提供 基于 云 计算 的 应 用 解决 方案 ， 比 如 虚拟 服务 器 和 操作 系统 。 
` 基础 设施 即 服务 (IaaS) : 提供 服务 器 、 存 储 器 、 网 络 服务 和 租赁 服务 。 
2. 云 计算 的 特点 
- 超大 规模 : Goople 拥 有 100 多 万 台 服 务 器 ，Amazon、IBM、 微 软 和 Yahoo 等 公司 的 云 均 拥有 几 十 万 台 服务 器 。 


“ 虚拟 化 : 云 计 算 支持 用 户 在 任意 位 置 使 用 各 种 终端 获取 。 所 请 求 的 资源 来 自 于 云 ， 而 不 是 固定 的 有 形 实体 。 用 户 只 需 
要 一 台 笔 记 本 电脑 或 一 个 PDA， 就 可 以 获取 各 种 服务 。 


高 可 靠 性 : 云 使 用 了 数据 多 副本 容错 及 计算 节点 同 构 可 互 换 等 措施 来 保障 服务 的 高 可 靠 性 ， 这 使 得 用 云 计 算 比 使 用 本 地 计 


算 机 更 加 可 靠 。 
. 通用 性 : 云 计 算 不 针对 特定 的 应 用 ， 在 云 的 支撑 下 可 以 构造 出 千变万化 的 应 用 ， 同 一 片 云 可 以 同时 支撑 不 同 的 应 用 运行 。 
. 高 可 伸缩 性 : 云 的 规模 可 以 动态 伸缩 ， 满 足 应 用 和 用 户 规模 增长 的 需要 。 
. 按 需 服务 : 云 是 一 个 庞大 的 资源 池 ， 用 户 按 需 购买 ， 像 自来水 、 电 和 煤气 那样 计 费 。 


* 极其 廉价 : 采用 极其 廉价 的 节点 来 构成 云 ; 云 的 自动 化 管理 使 数据 中 心 管理 成 本 大 幅 降低 ， 云 的 公用 性 和 通用 性 使 资源 的 
利用 率 大 幅 提 升 。 


3. 云 计算 的 市 场 覆盖 与 垄断 


云 计算 已 经 成 为 IT 领 域 的 标 配 模 式 。 它 易 操 作 ， 存 储量 惊人 ， 对 用 户 来 说 几乎 无 处 不 在 。 它 不 仅 成 就 了 世界 上 最 大 的 公司 ， 
同时 也 给 小 公司 提供 支持 。 


云 改 变 了 服务 供给 双方 的 经 济 模式 ， 同 时 也 带 来 了 更 多 新 的 机 遇 。 


移动 互联 网 本 身 大 量 依托 于 云 技术 。 云 已 经 成 为 移动 平台 的 有 力 推动 者 。 在 移动 时 代 ， 本 质 上 真 的 打开 了 一 扇 通 往 云 的 门 ， 
因为 大 部 分 移动 端的 处 理 ， 都 发 生 在 云 上 。 

云 服 务 提供 各 种 应 用 和 服务 ， 把 信息 的 人 存储 也 从 PC 端 转 移 到 云端 ， 而 使 用 者 可 以 是 任何 人 。 人 们 不 再 需要 保存 或 者 维护 什 
么 资料 ， 只 需要 确保 计算 机 联网 即 可 。 同 时 ， 人 们 只 需要 为 服务 付费 即 可 ， 而 不 再 需要 雇佣 IT 员工 、 购 买 基 础 设施 、 保 持 硬件 
(服务 器 ) 更 新 等 。 对 于 大 多 数 人 而 言 ，SaaS 和 移动 数据 分 享 App 便 是 经 常 接触 到 的 公有 云 。 


毫 无 疑问 ， 第 一 家 开发 公有 云 的 公司 党 到 了 规模 经 济 的 甜头 。 亚 马 逊 为 自己 的 业务 需求 建立 了 大 规模 的 数据 中 心 来 管理 交易 
和 库存 。 它 们 创建 了 各 种 各 样 的 工具 来 管理 庞大 的 网 络 请 求 、 存 储 需 求 和 计算 需求 。 谷 歌 同样 需要 管理 庞大 的 搜索 数据 ， 它 的 系 
统 架 构 足以 管理 数 十 亿 请 求 。 


正 是 因为 像 谷 歌 和 亚马逊 这 样 的 巨头 在 前 ， 新 的 云 服务 商 很 难 再 取得 较 大 成 功 。 


物 联 网 概念 


全 世界 物品 连接 起 来 ， 实 现 信息 采集 、 信 息 传 输 、 设 备 智能 控制 ， 从 而 构建 智慧 校园 、 智 慧 医院 和 智慧 城市 。 


物品 联网 ， 必 须 具 有 信息 感知 、 信 息 处 理 、 信 息 传 输 的 功能 ， 这 样 的 物品 ， 我 们 称 之 为 智能 硬件 。 利 用 智能 硬件 建设 的 信息 
化 校园 ， 称 为 智慧 校园 。 智 能 汽车 、 智 能 公路 、 智 能 交通 调度 组 成 了 智慧 交通 系统 。 物 联网 正在 改变 着 人 们 的 生活 方式 ， 但 所 有 
这 些 额 外 的 便利 与 效率 都 是 有 代价 的 。 
物 联网 可 以 收集 到 前 所 未 有 的 范围 内 的 大 量 数 据 ， 进 而 会 对 网 络 结构 和 人 存储 空间 产生 巨大 的 压力 ， 所 以 云 计 算 不 可 避免 地 遇 
到 了 如 下 几 大 难题 。 
` 网 络 拥塞 : 如 果 大 量 的 物 联 网 和 人 工 智能 应 用 部 署 在 云 中 ， 将 会 有 海量 的 原始 数据 不 间断 地 涌 入 核心 网 络 ， 造 成 核心 网 络 
拥塞 。 
. 高 延迟 : 终端 设备 与 云 数据 中 心 的 较 远 距离 将 导致 较 高 的 网 络 延迟 ， 而 对 实时 性 要 求 高 的 应 用 则 难以 满足 需求 。 
* 可 靠 性 无 法 保证 : 对 可 靠 性 和 安全 性 要 求 较 高 的 应 用 ， 由 于 从 终端 到 云 平台 的 距离 远 ， 通 信 通 路 长 ， 因 而 风险 大 ， 云 中 备 
份 的 成 本 也 高 。 


. 安全 性 : 数据 中 心 因 为 拥有 客户 的 数据 ， 因 此 黑客 和 其 他 恶意 使 用 者 都 对 之 虎视 上 聊 。 例 如 ，2013 年 斯 诺 登 “棱镜 门 ” 事 
件 爆 发 后 ， 人 们 对 云端 数据 的 信任 度 明 显 下 降 。 
雾 计 算 方 法 


雾 计算 方法 也 被 称 为 边缘 计算 。 它 为 计算 设备 提供 了 收集 并 管理 数据 的 方法 。 雾 计算 不 是 在 云端 或 遥远 的 数据 中 心 进行 ， 而 
是 在 较 近 的 地 区 。 在 这 种 模式 下 ， 传 感 器 及 其 他 连接 性 设备 将 数据 友 送 至 一 个 附近 的 边缘 计算 设备 上 ， 可 能 会 是 一 个 微型 服务 
器 、 交 换 机 、 路 由 器 这 样 的 网 间 连 接 装 置 来 处 理 并 分 析 数 据 ， 不 必 再 远程 传送 到 云端 。 


预测 到 2020 年 ， 将 有 58 亿 个 物 联网 设备 使 用 圾 计 算 。 许 多 物 联网 设备 并 不 具有 强大 的 计算 能 力 ， 所 以 比 起 云 计 算 来 说 ， 雾 
计算 能 提供 给 物 联网 设备 更 好 的 计算 服务 。 云 计算 在 广 域 范围 提供 计算 服务 ， 雾 计算 在 局 部 范围 为 物 (联网 设备 ) 提供 计算 服 
务 。 诚 然 ， 它 们 的 边界 并 没有 这 么 分 明 。 


* 极 低 时 延 : 这 对 于 物 联网 十 分 重要 ， 网 上 游戏 、 视 频传 输 和 增强 现实 等 都 需要 极 低 的 时 延 。 
“ 辽阔 的 地 理 分 布 : 这 正好 与 集中 在 茶 个 地 点 的 云 计算 (数据 中 心 ) 形成 强烈 的 对 比 。 
“ 传感器 网 络 : 雾 计算 需要 具备 有 大 量 网 络 节点 的 大 规模 传感器 网 络 ， 用 来 监控 环境 。 


支持 高 移动 性 : 对 于 雾 计算 来 说 ， 手 机 和 其 他 移动 设备 相互 之 间 可 以 直接 通信 ， 信 号 不 必 到 云端 甚至 基站 去 绕 一 圈 ， 因 此 
可 以 支持 很 高 的 移动 性 。 


物 联网 上 腾 云 驾 雾 
物 联网 、 云 计算 和 雾 计 算 将 会 改变 人 们 的 数据 采集 、 数 据 人 存储 和 数据 传输 的 方法 。 物 联网 也 将 会 更 深远 地 影响 人 们 日 常生 活 
中 的 其 他 领域 。 


云 的 核心 就 是 安装 了 大 量 服务 器 和 存储 器 的 “数据 中 心 ”。 全 球 数据 中 心 的 用 电功率 相当 于 30 个 核电 站 的 供电 功率 ， 其 中 
90% 的 耗 电量 都 被 浪费 。 目 前 用 大 量 电能 来 维持 的 数据 中 心 ， 暂 时 还 能 给 广大 用 户 提供 云 服务 。 但 是 当 物 联网 数据 呈 指 数 级 增长 
后 ， 云 中 心 可 能 会 无 法 再 维持 下 去 。 

随 着 物 联网 的 到 来 ， 工 业 设备 和 家 用 电器 都 会 装配 大 量 的 传感器 ， 包 括 找 入 在 可 穿戴 设备 和 其 他 设备 中 的 大 量 传感器 都 会 联 
网 ， 从 而 产生 极其 庞大 的 数据 。 大 量 数 据 的 发 送 和 接收 ， 可 能 会 造成 数据 中 心 和 终端 之 间 的 拥塞 ， 从 而 导致 传输 速率 大 大 降低 ， 
甚至 造成 很 大 的 时 延 。 

解决 之 道 就 是 雾 计算 。 雳 计算 在 各 行 各 业 的 垂直 细 分 市 场所 带 来 的 便捷 令 人 欢欣 鼓舞 。 地 铁 进 站 时 使 用 手机 直接 刷卡 进 站 ， 
而 不 再 上 云 。 手 机 与 闭 机 直接 对 话 ，2 秒 完成 ， 通 过 率 大 大 提高 。 


云 计 算 和 雾 计算 为 人 们 完成 日 常任 务 提 供 了 极 大 的 便利 ， 效 率 大 大 提升 ， 两 者 之 间 也 相得益彰 。 物 联网 收集 了 大 量 数据 ， 雾 
计算 提供 了 实时 处 理 和 实时 控制 ; 云 计 算 为 这 些 数 据 提 供 了 分 析 和 存储， 并 提供 了 智慧 判断 和 决策 。 


数 以 万 亿 计 的 物 联网 设备 需要 联网 ， 雾 计算 服务 器 、 路 由 器 、 交 换 机 需要 大 量 的 工程 师 去 开发 和 维护 。 这 不 是 某 个 IT 巨头 所 
能 芍 断 的 ， 而 是 物 联网 给 IT 创 客 和 中 小 企业 提供 的 新 机 会 和 新 舞台 。 


物 联 网 上 ，“ 雾 ”起 “ 云 ” 涌 。 各 路 IT 高 手 同 台 竞 技 ， 腾 “ 云 ” 驾 “ 雾 ”会 有 时 ， 柳 暗 伦 明 又 一 村 。 


仅 以 此 文 致敬 那些 辛勤 工作 在 “云雾 ”之 中 的 工程 师 们 ! 


第 1 章 ” 云 计算 数学 基础 


物 联网 常常 面临 大 量 或 者 海量 的 数据 ， 对 于 这 种 数据 进行 分 析 不 管 是 用 采样 的 方法 ， 还 是 用 大 数据 的 方法 ， 都 是 对 宏观 海量 
数据 的 分 析 。 本 章 将 介绍 物 联网 数据 分 析 中 会 用 到 的 概率 和 数理 统计 的 基础 知识 ， 以 及 分 布 式 计算 、 网 格 计算 和 云 计 算 的 一 些 概 
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1.1 概率 论 


概率 论 是 一 门 研究 随机 现象 的 数学 规律 的 学 科 。 在 大 数据 分 析 中 ， 概 率 统计 是 不 可 或 缺 的 数学 基础 之 一 ， 是 云 计 算 从 业者 必 
须 掌 握 的 数学 知识 。 


1.1.1 概率 论 的 友 展 简 史 


概率 论 起 源 于 17 世 纪 中 叶 ， 当 时 激发 数学 家 们 首先 思考 概率 论 的 是 来 自 赌博 者 的 问题 。 


1653 年 的 夏天 ， 法 国 著名 的 数学 家 、 物 理学 家 帕斯卡 (Blaise Pascal，1623 一 一 1662) 前 往 浦 埃 托 镇 度假 ， 旅 途中 ， 他 遇 
到 了 “ 赌 坛 老手 ” 梅 景 。 为 了 消除 旅途 的 我 宽 ， 梅 紧 向 帕斯卡 提出 了 一 个 十 分 有 趣 的 “分 赌注 ” 间 题 。 问 题 是 这 样 的 : 一 次 ， 梅 
昧 与 其 财 友 赌 掷 蜗 子 ， 每 人 押 了 32 枚 金币 ， 并 事先 约定 如 果 梅 累 先 掷 出 三 次 6 点 ， 或 其 财 友 先 掷 出 三 次 4 点 ， 便 算 赢 家 。 遗 憾 的 
是 ， 这 场 赌注 不 算 小 的 赌博 并 未 能 顺利 结束 。 当 梅 累 掷 出 两 次 6 点 ， 其 赌 友 搓 出 一 次 4 点 时 ， 梅 累 接 到 通知 ， 要 他 马上 陪同 国王 
接见 外 宾 。 君 命 难 违 ， 但 就 此 收回 各 自 的 赌注 又 不 甘心 ， 因 此 他 们 只 好 按照 已 有 的 成 绩 分 取 这 64 枚 金币 。 但 如 何 分 取 却 又 把 他 
难 住 了 。 所 以 ， 当 他 碰 到 大 名 易 昂 的 帕斯卡 时 ， 就 迫不及待 地 向 他 请 教 了 。 然 而 ， 梅 累 看 似 简单 的 问题 ， 却 真正 难 住 了 帕斯卡 。 


约 1654 年 期 间 ， 帕 斯 卡 与 费 马 在 一 系列 通信 中 讨论 了 类 似 的 “合理 分 配 赌 金 ”的 问题 。 该 问题 可 以 简化 为 : 


甲 、 乙 两 人 同 括 一 枚 硬币 ， 规 定 正 面 彰 上 ， 甲 得 1 点 ; 若 反 面 朝 上 ， 乙 得 1 点 ， 先 积 满 3 点 者 赢 取 全 部 赌注 。 假 定 在 甲 得 2 
点 、 乙 得 1 点 时 ， 赌 局 由 于 某 种 原因 中 止 了 ， 问 应 该 怎样 分 配 赌 注 才 算 公平 合理 ? 


帕斯卡 : 若 再 扼 一 次 ， 甲 胜 ， 甲 获 全 部 赌注 ; 乙 胜 ， 甲 、 乙 平分 赌注 。 两 种 情况 可 能 性 相同 ， 所 以 这 两 种 情况 平均 一 下 后 ， 
甲 应 得 赌 金 的 3/4， 乙 得 赌 金 的 1/4。 


费 马 : 结束 赌局 至 多 还 要 2 局 ， 结 果 为 如 下 4 种 可 能 情况 : 


情况 ] 3 4 
赌局 甲 甲 甲乙 乙 甲 Ze 


前 3 种 情况 ， 甲 获 全 部 赌注 ， 仅 第 4 种 情况 ， 乙 获 全 部 赌注 。 所 以 甲 分 得 总 赌注 的 3/4， 乙 得 总 赌注 的 1/4。 


帕斯卡 与 费 马 各 自用 不 同 的 方法 解决 了 这 个 问题 。 昌 然 他 们 在 解答 中 没有 明确 定义 概念 ， 但 是 他 们 定义 了 使 该 赌 徒 取胜 的 几 
率 ， 也 就 是 赢得 情况 数 与 所 有 可 能 情况 数 的 比例 ， 这 实际 上 就 是 概率 。 所 以 概率 的 发 展 被 认为 是 从 帕斯卡 与 费 马 开始 的 。 在 人 们 
对 概率 问题 早期 的 研究 中 ， 逐 步 建 立 了 事件 、 概 率 和 随机 变量 等 重要 概念 以 及 它们 的 基本 性 质 。 


1.1.2 ”随机 事件 
在 科学 研究 和 工程 实践 中 ， 在 相同 条 件 下 经 常会 重复 进行 很 多 次 试验 ， 因 此 常 遇 到 这 样 的 情形 : 尽管 试验 条 件 是 相同 的 ， 但 
是 每 次 的 试验 结果 却 不 一 定 相同 。 


例 1 一 个 口袋 中 含有 编号 分 别 为 1，2，…，n 的 n 个 球 ， 从 这 袋 球 中 任 取 一 球 ， 观 察 后 立即 将 球 放 回 袋 中 。 多 次 做 这 样 的 试 
验 ， 各 次 取得 的 球 的 号 数 不 一 定 相同 ， 每 次 取得 的 号 数 是 1，2，…，n 中 的 一 个 数 。 


随机 试验 就 是 指 这 样 的 试验 ， 它 可 以 在 相同 条 件 下 重复 试验 ， 试 验 的 所 有 可 能 发 生 的 结果 是 已 知 的， 但 是 每 次 试验 结果 到 底 
是 其 中 的 哪 一 个 预先 是 不 能 确定 的 。 


在 随机 试验 中 ， 可 能 出 现 、 也 可 能 不 出 现 的 事件 叫做 随机 事件 。 例 如 ， 在 例 1 中 ，“ 取 得 的 球 的 号 数 小 于 3” 这 事件 是 随机 
事件 。 随 机 事件 是 随机 试验 的 结果 ， 通 常 简称 为 事件 。 


【必然 事件 】 每 次 试验 中 一 定 会 出 现 的 事件 ， 记 作品 ; 


【不 可 能 事件 〗 每 次 试验 中 一 定 不 会 出 现 的 事件 ， 记 作 中 ; 


随机 试验 的 共同 特点 为 : 


* 在 相同 的 条 件 下 可 重复 进行 ; 


* 每 次 试验 的 结果 可 能 不 止 一 个 ,但 事先 已 明确 所 有 可 能 出 现 的 结果 ; 
` 试验 之 前 不 能 确定 哪个 结果 会 出 现 。 


概率 论 只 关心 在 随机 试验 中 可 能 会 观察 到 的 事件 及 每 次 具体 的 试验 中 出 现 的 事件 。 因 此 ， 与 每 个 随机 试验 相 联系 的 一 个 事件 
的 集合 ， 即 在 试验 中 可 以 观察 到 的 事件 的 全 体 。 至 于 这 个 事件 集 应 该 具备 什么 性 质 ， 以 后 将 会 讨论 。 既 然 数学 不 只 研究 那些 由 孤 
立 元 素 组 成 的 集合 ， 那 么 我 们 就 有 必要 在 上 述 事件 集 内 定义 事件 之 间 的 各 种 天 系 。 


1. 事 件 关 系 
【包含 关系 】 若 事件 A 出 现 必 然 会 导致 事件 B 出 现 ， 则 称 “A 是 B 的 特例 ”或 “A 包 含 于 B”， 记 作 ACB; 


【等 价 〈 相 等 ) 关系 〗】 若 事件 A、B 满 足 ACB 且 B?A， 则 称 事件 A、B 等 价 或 相等 。 


2. 事 件 间 的 运算 
- 【和 事件 】 事 件 A 与 事件 B 至 少 有 一 个 出 现 ， 记 作 AUB; 


. 【 积 事件 】 事 件 A 与 事件 B 同 时 出 现 ， 记 作 AmB 或 AB; 


【差事 件 】 事 件 A 出 现 而 事件 B 不 出 现 ， 记 作 A-B， 显 然 ，A-B=AB; 


" 【 送 事 件 】 必 然 事件 U 与 事件 A 的 差事 件 ， 记 作 A， 显 然 ，A=U-A。 


例 2 ”向 指定 的 目标 射 三 枪 。 用 A1、A2、A3 分 别 表示 事件 “第 一 枪击 中 目标 ” “第 二 枪击 中 目标 ” “第 三 枪击 中 目标 ”。 
试用 A1、A2、A3 表 达 以 下 各 事件 : 


(1) 只 击 中 第 一 枪 
(2) 只 击 中 一 枪 

(3) 三 枪 都 未 击 中 
(4) 至 少 击 中 一 枪 


解 (1) 事件 “只 击 中 第 一 枪 ”就 是 第 二 枪 没 击 中 ， 第 三 枪 也 没 击 中 。 所 以 事件 “只 击 中 第 一 枪 ”可 以 表示 成 


(2) 事件 “只 击 中 一 枪 ”不 指定 哪 一 枪击 中 ， 那 么 三 个 事件 “只 击 中 第 一 枪 ”“ 只 击 中 第 二 枪 ” “只 击 中 第 三 枪 ”中 任意 


一 个 事件 发 生 ， 都 可 以 认为 事件 “只 击 中 一 枪 ”发 生 。 同 时 ， 三 个 事件 “只 击 中 第 一 枪 ”“ 只 击 中 第 二 枪 ” “只 击 中 第 三 枪 ”两 
两 豆 斥 ， 所 以 事件 “只 击 中 一 枪 ”可 以 表示 成 
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(3) 事件 “三 枪 都 未 击 中 ”就 是 第 一 、 第 二 、 第 三 枪 都 未 击 中 ， 所 以 事件 “三 枪 都 未 击 中 ”可 以 表示 成 


(4) 事件 “至 少 击 中 一 枪 ” 就 是 第 一 、 第 二 、 第 三 枪 中 人 至少 有 一 次 击 中 ， 所 以 事件 “至 少 击 中 一 枪 ” 可 以 表示 成 
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1.1.3 ”随机 事件 的 概率 


我 们 观察 一 个 随机 试验 的 诸 事 件 ， 总 发 现 “ 有 些 事件 出 现 的 可 能 性 大 些 ， 有 些 事件 出 现 的 可 能 性 小 些 ”， 这 是 由 于 事件 出 现 
的 “可 能 性 大 小 ”是 客观 存在 的 ， 而 这 些 “ 可 能 性 大 小 ”自然 也 可 用 数值 来 度量 。 这 个 描述 事件 发 生 可 能 性 大 小 的 数值 ， 至 少 应 
该 满足 以 下 两 个 要 求 。 


: 具有 一 定 的 客观 性 ， 不 能 随意 改变 ， 而 且 理 论 上 应 可 通过 在 “相同 条 件 下 ”大 量 的 重复 试验 加 以 识别 和 检验 ; 


` 必须 符合 一 般 常理 ， 如 事件 发 生 可 能 性 大 (小 ) 的 ， 这 个 值 就 应 该 大 (小 ) 些 ， 必 然 事 件 的 值 最 大 为 1， 不 可 能 事件 的 值 


最 小 为 0。 
【概率 的 一 般 定义 】 描 述 随 机 事件 发 生 可 能 性 大 小 的 数值 (数量 指标 ) ， 又 称 或 然 率 或 几 (机 ) 率 ， 它 介 于 0 与 1 之 间 。 


如 果 一 个 随机 试验 的 所 有 可 能 结果 只 有 有 限 个 ， 而 且 每 个 结果 出 现 的 可 能 性 相等 ， 则 称 这 个 随机 试验 是 古典 概 型 (也 叫 传统 
概率 ) 。 


事件 A (发 生 ) 的 (古典) 概率 ( 即 在 古典 概 型 背景 下 计算 概率 的 古典 方法 ) 为 m/n， 记 作 : P (A) =m/n， 也 即 在 古典 概 型 
下 ， 由 古典 方法 计算 出 的 事件 A 的 (古典) 概率 为 


事件 4 所 包含 的 样本 点 数 本 
样本 空间 所 包含 的 样本 点 数 


古典 概 型 有 如 下 性 质 : 


P(A)= 


【 非 负 性 】 设 A 是 古典 概 型 中 任 一 事件 , 则 0<P (A) <1; 
【规范 性 (又 称 规 一 性 或 正则 性 ) 】 对 必然 事件 Q, P (0Q) =1。 
例 3 ”从 一 批 由 90 件 正品 、3 件 次 品 组 成 的 产品 中 ， 任 取 一 件 产品 ， 求 取得 正品 的 概率 。 


解 ” 把 90 件 正品 依次 编号 1#，2#，...，90#， 把 3 件 次 品 依次 编号 91#，92#，93#。 那 么 ， 以 表示 “取得 编号 为 的 一 件 产 
品 ” (i=1，2，...，93) ， 所 有 可 能 的 试验 结果 的 全 体 U={1，2，...，93}。 由 于 抽取 是 任意 的 ， 所 以 两 两 互 斥 的 诸 基 本 事件 们 
(i=1，2，...，93) 出 现 的 可 能 性 相等 。 取 得 正品 就 是 事件 A={1，2，...，90} 出 现 ， 所 以 取得 正品 的 概率 为 


在 概率 论 的 发 展 早期 人 们 就 已 注意 到 ， 只 考虑 随机 现象 的 可 能 结果 只 有 有 限 个 是 不 够 的 ， 还 需 考虑 无 穷 个 的 情形 。 事 实 上 ， 
当 试验 的 可 能 结果 无 穷 多 时 ， 当 然 不 能 简单 地 通过 样本 点 的 计数 来 计算 概率 ， 举 例 说 明 如 下 。 


【 引 例 】 在 区 间 (0，1) 内 任 取 两 个 数 ， 求 事件 A= 人 两 数 之 和 小 于 6/5} 和 B={ 两 数 之 积 不 小 于 3/16} 的 概率 。 归 纳 这 类 例子 的 
共同 特点 ， 即 可 以 通过 空间 集合 的 几何 度量 (如 长 度 、 面 积 、 体 积 等 ) 来 计算 概率 。 


【几何 概 型 】 设 试验 E 的 样本 空间 为 某 可 度量 的 几何 区 域 0， 且 @Q 中 任 一 子 区 域 (事件 ) 出 现 的 可 能 性 大 小 与 该 区 域 的 几何 
度量 成 正比 ， 而 与 该 区 域 的 位 置 和 形状 无 关 ， 则 称 试 验 E 为 几何 概 型 。 若 A 是 Q 中 一 区 域 ， 且 A 可 度量 ， 则 定义 事件 A 的 概率 为 


4 的 几何 度量 
人 2 的 几何 度量 


其 中 若 O 是 一 维 、 二 维 或 三 维 的 ， 那 么 Q 的 几何 度量 分 别 是 长 度 、 面 积 或 体积 ， 称 这 样 定义 的 概率 为 几何 概率 ( 即 计算 概率 
的 几何 方法 ) 。 计 算 概率 的 几何 方法 和 古典 方法 类 似 ， 也 是 由 一 个 比值 来 描述 ， 只 是 前 者 是 后 者 的 推广 。 


P(A)= (1.2) 


求解 几何 概 型 归纳 起 来 一 般 有 以 下 关联 的 4 个 步骤 : 
(1) 明确 问题 的 实质 ， 即 是 否 为 几何 概 型 。 
(2) 明确 等 可 能 性 的 几何 元 素 ， 任 何 一 个 几何 概 型 其 样本 点 都 可 归纳 为 具有 某 种 等 可 能 性 的 几何 元 素 。 


(3) 用 几何 区 域 (如 区 间 、 和 平面 区 域 和 空间 区 域 等 ) 来 表示 样本 点 数 的 总 和 。 


(4) 利用 初等 几何 或 微 积分 知识 ， 求 出 样本 空间 Q 的 几何 区 域 的 几何 度量 u(Q) 和 随机 事件 A 的 几何 区 域 的 几何 度量 
H(A) ， 最 终 由 几何 方法 得 到 


例 4 甲 、 乙 两 人 相约 晚上 6 点 到 7 点 之 间 在 预定 地 点 会 面 ， 并 约定 甲 若 早 到 应 等 乙 半 小 时 ， 乙 若 早 到 则 不 等 甲 。 若 甲 、 乙 两 

人 均 在 晚上 6 点 到 7 点 之 间 到 达 见面 地 点 ， 求 甲 、 乙 两 人 能 会 面 的 概率 。 
解 用 六 了 分 别 表示 甲 、 乙 两 人 到 达 的 时 刻 ， 则 试验 包含 的 所 有 事件 Q={(x, JI0<x 
硅 1, 0y 夺 1}， 所 有 事件 可 以 用 边 长 为 1 的 一 个 正方 形 0 科 x 科 1，0 科 ) 科 1 内 的 所 有 点 表 


示 出 来 ， 该 正方 形 面积 是 1。 两 人 能 会 面 的 充分 必要 条 件 是 4=|Ce10< xs 


0<ysTz<y<x+ 中 ， 事件 4 对 应 的 集合 即 图 1.1 中 的 阴影 部 分 。 阴 影 部 分 的 面积 是 


本 _3 ， 全 入 T 硬 的 | 概 玉 尖 
1 [33xpaj- 所 以 甲 、 乙 两 人 能 会 面 的 概率 为 


3 

ls A | 
P(4) = 下 于 部 分 向 积 _8 _3 
下 方形 面积 1 8 


概率 的 定义 主要 依据 试验 次 数 很 多 时 ， 概 率 所 呈现 的 稳定 性 ， 然 而 次 数 应 该 多 到 什么 程度 ， 却 没有 明确 说 明 。 因 此 ， 有 必要 
提出 一 组 关于 随机 事件 概率 的 公理 。 


公理 1 对 于 任 一 随机 事件 A， 有 。 

公理 2 P (U) =1, P(2)=0。 

公理 3 ”对 于 两 两 豆 斥 的 多 个 随机 事件 A1，A2，…， 有 
P(A1+A2+:*)=P(AN)+P(AD + 


在 上 述 三 条 公理 的 基础 上 ， 可 以 推导 出 许多 关于 概率 的 性 质 。 


U.> ] X 


图 1.1 例 4 几 何 概 型 


P(Ait+Ast***+A,)=P(A1)+P(A;)+***+P(A,) 


性 质 2 设 A 为 任 一 随机 事件 ， 那 么 


P(A)=1- P(A) 


性 质 3 设 AcB， 那 么 


PB-4)- P(B)-P(A) 


P(A U 加- P(A) + P(B)-P(AB) 


| 
(3) EE 。 


P(BA)=P(B)=— 


(2) 当 AcB 时 


P(BA)=P(B — A)=P(B) - PUA)=- _ 、 - 


P(A UB)= P(A)+ P(B)-P(AB) 
P(A4+BA)=P(A)+P(BA) 
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P(BA)=P(B)— PUB 六 = S 


1.2 ”数理 统计 基础 


数理 统计 是 大 数据 处 理 的 基础 手段 ， 从 交通 运输 的 客流 统计 ， 到 个 人 消费 习惯 、 购 物 行为 分 析 ， 都 离 不 开 数 理 统计 方法 。 学 
习 数 理 统计 ， 是 物 联网 工程 师 的 必修 课 。 


1.2.1 ”随机 变量 及 其 分 布 阔 数 


随机 事件 (参考 1.1.2 节 ) 是 按 试验 结果 而 确定 出 现 与 否 的 事件 ， 它 是 一 种 “定性 ”的 概念 。 为 进一步 研究 有 关 随 机 试验 的 
问题 ， 还 需要 引入 一 种 “定量 ”的 概念 ， 即 根据 试验 结果 确定 变量 取 什 么 值 ， 称 这 种 变量 为 随机 变量 。 


例 6” 设 一 口袋 中 有 依次 标 有 1、2、2、2、3、3 数 字 的 6 个 球 ， 从 这 个 口袋 中 任 取 一 个 球 ， 取 得 的 球 上 标 有 的 数字 是 随 着 试 
验 结果 的 不 同 而 变化 的 。 当 试验 结果 确定 后 ，8 的 值 也 就 相应 地 确定 了 。E 就 是 随机 变量 。 

例 7 ”用 步枪 对 准 靶 子 上 的 一 个 靶 心 进行 射击 ， 考 虑 击 中 的 点 与 靶 心 的 距离 9。 为 了 表示 这 个 随机 试验 各 种 可 能 出 现 的 试验 
结果 ， 可 以 在 包含 靶子 的 平面 内 取 一 个 以 这 个 靶 心 为 原点 的 直角 坐标 系 ， 这 样 ， 试 验 的 结果 可 用 击 中 点 的 坐标 (x，y) 来 表示 ， 
所 考虑 的 6 是 根据 试验 结果 而 确定 取 什 么 值 ， 具 体 为 


Ox, y)=Vx +y 


随机 变量 根据 其 取 值 的 特征 可 以 分 为 离散 型 随机 变量 和 连续 型 随机 变量 。 


离散 型 随机 变量 试验 结果 的 可 能 值 可 以 一 一 列举 出 来 ， 即 随机 变量 X 可 取 的 值 是 间断 、 可 数 的 。 如 例 6 中 的 

连续 型 随机 变量 试验 结果 的 可 能 值 不 能 一 一 列举 出 来 ， 即 随机 变量 X 可 取 的 值 是 连续 充满 在 一 个 区 间 内 ， 如 例 7 中 的 5。 
随机 变量 是 随机 现象 的 数量 化 ， 可 以 用 

X=x 表 示 某 事件 ; 

P (X=x) 表示 该 事件 出 现 的 概率 ; 

F (x) =P (X<x) 表示 X < x 的 概率 ， 并 定义 为 随机 变量 X 的 概率 分 布 函数 ， 用 来 描述 随机 变量 的 统计 规律 。 


连续 型 随机 变量 X 的 分 布 函 数 的 表达 式 为 


FOOD=PK<o-| fdx (1.4) 


式 中 ,f(x) 称 为 随机 变量 X 的 概率 密度 函数 (或 简称 为 概率 密度 ) 。 


正 态 分 布 是 连续 型 随机 变量 最 常见 的 一 种 分 布 。 正 态 分 布 的 概率 密度 函数 f (x) 和 概率 分 布 函 数 F (x) 分别 如 下 。 


四 ] CA) 
概率 密度 函数 : f(x) = 一 一 e 2 (1.5) 
各 ONV2T 
(x-1)” 


概率 分 布 函数 : F(x) = 25 dx (1.6) 


1 | 
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以 X 的 取 值 为 横 坐 标 ， 以 概率 密度 函数 f (x) 为 纵 坐 标 ， 正 态 分 布 示意 图 如 图 1.2 所 示 。 图 1.2 中 的 曲线 即 为 概率 密度 函数 
f (x) ， 积 分 区 间 内 的 曲线 与 横 轴 之 间 所 包含 的 面积 就 是 概率 分 布 函数 F (x) ， 即 随机 变量 X 的 概率 。 


f %) 


0 TT S 


图 1.2 正 态 分 布 示 意图 
f(x) 图 像 具 有 如 下 性 质 : 


(1) b 为 随机 变量 X 一 系列 取 值 的 中 位 值 (或 称 均值 ) ，f (x) 对 称 于 直线 x=h， 且 f (x) > 0， 曲 线 位 于 横 轴 的 上 方 ， 它 向 
左 、 右 两 边 无 限 延 伸 ， 并 以 横 轴 为 渐 近 线 。 


(2) 当 x=h 时 ，f (x) 取 最 大 值 


f(D)= 忆 一 


x 离 u 越 远 f (x) 越 小 ， 这 表明 对 于 同样 长 度 的 区 间 ， 当 区 间 离 u 越 远 ，X 落 在 这 个 区 间 上 的 概率 越 小 。 


(3) 参数 0 为 曲线 拐点 的 横 坐 标 ， 其 大 小 决定 了 正 态 曲线 的 形状 特点 ，o 愈 大 曲线 愈 平缓 ，o 愈 小 曲线 愈 高 陡 。 
可 以 看 出 ， 正 态 分 布 主要 取决 于 hb 和 两 个 参数 ， 称 为 随机 变量 X 的 数学 期 望 ，a2 为 随机 变量 X 的 方差 。 
当 随 机 变量 X 服 从 正 态 分 布 时 ， 常 记 作 X~ N (hu，oc2) 。 


如 果 令 随机 变量 t= (x-h) /ac， 通 过 变量 转换 ， 可 由 一 般 正 态 分 布 推算 ， 可 得 随机 变量 t 的 概率 密度 函数 (〈t) 及 相应 的 概 
率 分 布 函 数 中 (t) 为 
2 


] 2 
(1.7) 


PD(1) = df (1.8) 


1 t 
0 | e 
V270 “~ 

这 种 分 布 称 为 标准 正 态 分 布 ， 是 正 态 分 布 中 u=0，o2= 1 的 特例 。 当 随机 变量 服从 标准 正 态 分 布 时 ， 常 记 作 X ~ 
N (0, 1) 。 


通常 将 t~ 中 (t) 制 成 数值 表 ， 称 t 为 标准 正 态 分 布 的 分 位 数 。 如 已 知 t， 即 可 从 数值 表 中 查 得 相应 的 $9 (t) ; 反之 亦 然 。 


标准 正 态 分 布 与 一 般 正 态 分 布 具 有 如 下 关系 : 
| X 一 /人 
f(x)= i (1.9) 


因此 ， 对 于 任意 正 态 分 布 N (h，0a2) ， 当 已 知 x， 需 求 相 应 的 F (x) 时 ， 均 可 通过 如 下 变换 : 


_ 
O 


(1.10) 


算得 对 应 于 x 的 t 值 ， 表 在 标准 正 态 分 布 冰 数 数值 表 上 查 得 相应 的 概率 。 
正 态 随机 变量 中 有 3 个 重要 的 概率 值 ( 如 图 1.3 所 示 ) ， 它 们 分 别 是 
.P (Wo<X<uto) =0.6826; 

.P (hu2c<X<nu+2c) =0.9544; 

.了 P (uw-30<X<u+30) =0.9973。 


注意 第 3 个 概率 值 ， 对 于 正 态 随机 变量 X 来 说 ， 它 落 在 h+3a 内 的 概率 约 为 99.7%， 落 在 h+30 外 的 概率 约 为 0.39%。 可 见 ， 在 
具有 正 态 分 布 特征 的 试验 中 ， 其 数据 落 在 h+3a 以 外 的 概率 是 很 小 的 ， 可 视 为 “小 概率 事件 ”。 因 此 ， 试 验 中 一 旦 出 现 h+30 外 
的 数据 ， 根 据 “3c 规 则 ”， 即 可 将 其 认为 是 “可 疑 数据 ”而 予以 剔除 ， 或 是 工艺 过 程 出 现 异 常 ， 应 予以 注意 。 


HW-30 JW-20 1M-0 Lto Wt20 Wt+30 


0 
| 68.20% ] 
95.45% 


99.73% 


图 1-3 ” 正 态 分 布 的 3 个 重要 概率 值 


例 8 已 知 一 批 强 度 等 级 为 C25 的 混凝土 ， 其 抽样 试 件 的 抗 压强 度 平 均值 为 30.0MPa， 标 准 差 为 5.0MPa， 设 该 混凝土 的 搞 
压强 度 R 服 从 N (30.0，5.0) 的 正 态 分 布 ， 试 计算 抗 压强 度 高 于 25.0MPa 的 概率 ( 即 求 该 混凝土 的 强度 保证 率 ) 。 


解 ”P(R 三 25.0)=1- P(R=25.0) 
=1— $B(7) 
_1_ 8(25:0 -30.0) 
5.0 


[D0 
=1-0.1587=0.8413 


即 该 批 混凝土 的 强度 保证 率 为 84.13%。 由 此 可 见 ， 对 于 标准 差 为 5.0MPa 的 C25 混 凝 土 ， 即 使 其 抗 压强 度 平均 值 为 30.0MPa 


时 ， 仍 不 能 达到 相关 规范 所 规定 的 95% 的 强度 保证 率 。 


例 9 条件 同 例 8， 其 试 件 抗 压强 度 平均 值 m 为 多 少时 ， 才 能 使 该 混凝土 的 强度 保证 率 达 到 95%? (强度 保证 率 系数 =- 
1.645) 


解 ” 由 P(R 宇 25.0)==1-P(R=25.0) 二 0.95 


人 日 1=20:0—m 


合 = 一 ]1.645 


m 二 25.0 十 1.645 X 5.0 二 33.2MPa 


上 式 中 ，t 被 称 为 强度 保证 率 系 数 ， 它 对 应 于 95% 的 强度 保证 率 。 


1.2.2 ”随机 变量 的 数字 特征 


由 前 文 所 述 可 知 ， 利 用 分 布 沙 数 或 分 布 密度 函数 可 以 完全 确定 一 个 随机 变量 。 但 在 实际 问题 中 ， 求 分 布 沙 数 或 分 布 密度 函数 
不 仅 十 分 困难 ,而 且 没 有 必要 。 用 一 些 数字 来 描述 随机 变量 的 主要 特征 ， 显 得 十 分 方便 、 直 观 、 实 用 。 描 述 随机 变量 某 种 特征 的 
量 ， 称 为 随机 变量 的 数字 特征 。 


1 数学 期 望 
数学 期 望 又 称 为 均值 ， 记 作 E (X) “( 正 态 分 布 的 bj) ， 其 计算 公式 为 : 


当 X 为 离散 型 时 

E(x)=>_x%p, (1.11) 
i=] 

当 X 为 连续 型 时 


BECOO= | xf(x)dx (1.12) 


数学 期 望 描述 了 随机 变量 的 取 值 中 心 ， 但 它 不 是 简单 的 算术 平均 ， 而 是 以 概率 为 权 的 加 权 平 均 。 
数学 期 望 有 如 下 性 质 ( 式 1.13 中 c、k、b 均 为 常数 ) : 

(1) E (c) =c 

(2) E (kX) =kE (X) 


(3) E (X+b) =E (X) +b 


(4) E (kX+b) =KkE (X) +b 
(5) E (X+Y) =E (X) +E (Y) 
(6) E (XY) =E (X) E (Y) +Cov (X, Y) 


称 Cov (X，Y) 为 协 方差 ， 当 X、Y 相 互 独立 时 ，Cov (X, Y) =0,， 则 有 


E(XYY)=E)E(Y) (1.13) 


2 方差 


方差 记 作 D (X) ( 正 态 分 布 的 ac2) : 


DO)=E{[X-EQN =ECCD)-[ECOT 


方差 描述 了 随机 变量 X 取 值 对 于 数学 期 望 E (X) 的 离散 程度 。 
1) 方差 的 计算 公式 


当 X 为 离散 型 时 
DCOO=> [5 - E(X) p, | 
当 X 为 连续 型 时 


D(X)=| [x -ECX fdx (C1.15) 


2) 方差 的 性 质 (下 式 中 a、b、c、k 为 常数 ) 

(1) D (c) =0 

(2) D (kX) =k2D (X) 

(3) D (X+b) =D (X) 

(4) D (kX+b) =k2D (X) 

(5) D (X+Y) =D (X) +D (Y) -2Cov (X，Y) 


当 X、Y 相 互 独立 时 ,， 协 方差 Cov (X，Y) =0， 则 有 


D(X+7)=DAXI+D(Y) (1.16) 


1.2.3 ”随机 变量 的 基本 定理 


1. 大 数 定理 
1) 切 比 雪夫 (Chebyshev) 定理 


设 X1，X2，.…，Xn 是 独立 同 分 布 的 随机 变量 列 ， 且 E (X1) 、D (X1) 存在 ， 则 对 于 任何 : > 0， 有 


im PUT_ ECX) Ee) = (1.17) 


在 式 1.17 中 : 


1] 
i 


式 1.17 又 称 切 比 雪 夫 定 理 。 大 数 定律 的 实际 意义 在 于 ， 只 要 n 充 分 大 ， 算 术 平 均值 以 很 大 的 概率 取 值 接近 于 数学 期 望 ， 即 当 
n 充 分 大 时 ， 可 以 用 算术 平均 值 代 蔡 真 值 E (X1) ， 以 满足 测量 不 确定 度 e 的 要 求 。 
2) 伯 努 利 定理 


设 在 n 次 独立 观测 中 ， 事 件 A 出 现 的 次 数 为 n， 则 当 n 足 够 大 时 ， 频 率 m/n 依 概率 收敛 于 它 的 概率 P， 即 对 任意 的 s > 0， 有 


limPJl -p<es=1 (1.18) 
1 一 co n 


伯 努 利 定理 的 实际 意义 在 于 ， 在 观测 条 件 稳定 时 ， 如 果 n 足 够 大 ， 则 可 用 频率 代替 概率 ， 此 时 频率 具有 很 高 的 稳定 性 。 


2. 中 心 极限 定理 


设 X1，X2，…，Xn 是 独立 同 分 布 的 随机 变量 列 ， 且 E (X1) 、D (X1) 存在，D (X1) #0， 则 对 一 切实 数 a < b， 有 


a (1.19) 


lm Pa < 一 -一 
人 VD(X) /n 


中 心 极限 定理 可 解释 为 任何 随机 变量 如 果 是 许多 同 分 布 独立 变量 之 和 ， 每 一 个 变量 在 总 和 上 只 有 很 小 的 影响 ， 则 不 论 这 些 独 
立 变量 具有 何 种 类 型 的 分 布 ， 该 随机 变量 可 以 近似 地 认为 是 正 态 分 布 。 随 着 随机 独立 变量 的 增加 ， 它 们 的 和 就 越 接近 正 态 分 布 ; 
些 独立 变量 的 大 小 越 接近 ， 所 需 的 独立 变量 就 越 少 。 


这 


中 心 极限 定理 扩展 了 正 态 分 布 的 适用 范围 。 在 扩展 不 确定 度 的 评定 中 ， 将 涉及 如 何 用 中 心 极限 定理 来 判断 被 测量 Y 是 否 服从 


1.3 分布 式 计算 介绍 


分 布 式 计算 是 一 门 计算 机 科学 ， 它 研究 如 何 把 一 个 需要 大 量 的 计算 能 力 才能 解决 的 问题 分 成 许多 小 的 部 分 ， 然 后 把 这 些 部 分 
分 配给 许多 台 计 算 机 进行 处 理 ， 最 后 把 这 些 计算 结果 综合 起 来 得 到 最 终结 果 。 最 近 的 分 布 式 计算 项 目 是 利用 世界 各 地 干 万 名 志愿 
者 的 计算 机 的 闲置 计算 能 力 ， 通 过 因特网 ， 可 以 分 析 来 自 外 太空 的 电信 号 ， 寻 找 隐蔽 的 黑洞 ， 并 探索 可 能 人 存在 的 外 星 智 慧生 命 
可 以 寻找 超过 1000 万 位 数字 的 梅森 质数 ; 也 可 以 寻找 并 发 现 对 抗 艾滋 病 病毒 的 更 为 有 效 的 药物 。 这 些 项 目 都 很 庞大 ， 需 要 惊人 
的 计算 量 ， 仅 仅 由 单个 计算 机 在 一 个 能 让 人 接受 的 时 间 内 完成 计算 是 不 可 能 的 。 分 布 式 计 算是 利用 互联 网 上 的 计算 机 的 中 央 处 理 
器 的 闲置 处 理 能 力 ， 来 解决 大 型 计算 问题 的 一 种 计算 科学 。 


1.3.1 “分 布 式 计算 概 念 
分 布 式 计 算是 近年 提出 的 一 种 新 的 计算 方式 。 所 谓 分 布 式 计算 就 是 在 两 个 或 多 个 软件 中 互相 共享 信息 ， 这 些 软件 既 可 以 在 同 
一 台 计 算 机 上 运行 ， 也 可 以 在 通过 网 络 连 接 起 来 的 多 台 计 算 机 上 运行 。 分 布 式 计算 相 比 其 他 算法 具有 以 下 几 个 优点 : 
稀有 资源 可 以 共享 ; 
过 分 布 式 计算 可 以 在 多 台 计 算 机 上 平衡 计算 负载 ; 
“ 可 以 把 程序 放 在 最 适合 它 运行 的 计算 机 上 。 


其 中 ， 共 享 稀有 资源 和 平衡 负载 是 计算 机 分 布 式 计算 的 核心 思想 之 一 。 


1.3.2 分布 式 计算 的 发 展 历史 
在 早期 ， 将 一 系列 独立 的 计算 机 互 连 起 来 以 便 彼此 能 交换 数据 ， 是 一 种 自然 的 发 展 过 程 。 最 初 针对 文件 共享 ， 采 用 电线 将 计 
算 机 互 连 这 一 方式 早 在 20 世 纪 60 年 代 就 已 经 被 使 用 。 


在 一 个 或 多 个 计算 机 程序 为 完成 同一 任务 自动 运行 时 ， 这 种 方式 需要 人 工 参 与 ， 不 能 叫做 计算 机 分 布 式 应 用 。 这 样 的 计算 机 
应 用 需要 交换 数据 ， 在 执行 和 完成 应 用 中 的 任务 时 ， 两 台 计 算 机 要 采用 软件 或 硬件 方法 自发 交换 数据 。 


第 一 份 Internet 标 准 草案 RFC， 定 义 了 参与 主机 如 何 通过 消息 实现 彼此 间 的 信息 交换 。 虽 然 可 能 有 许多 人 曾 试 图 在 小 范围 内 
创建 网 络 应 用 ， 但 最 早 的 网 络 应 用 是 电子 邮件 。 第 一 封 电 子 邮件 消息 是 1972 年 在 由 4 个 节点 组 成 的 ARPANET 上 发 送 的 。 


允许 数据 文件 在 两 台 计 算 机 间 交 换 的 自动 文件 传输 机 制 是 另 一 个 自然 发 展 ， 早 在 1971 年 就 有 了 有 关 该 机 制 的 建议 草案 。 在 
今天 ， 电 子 邮件 和 文件 传输 仍然 是 两 项 最 常用 的 网 络 服 务 。 


流传 最 久 的 网 络 服 务 是 www.Web， 最 初 由 日 内 瓦 瑞士 研究 院 CERN 的 科学 家 作为 网 络 上 支持 超 文 本 访问 的 一 类 应 用 ,构思 
于 20 世 纪 80 年 代 。 而 www 也 由 此 逐渐 成 为 网 络 应 用 和 服务 的 平台 ， 包 括 电 子 邮 件 、 搜 索引 擎 和 电子 商务 。 


www 是 Internet 得 以 迅速 普及 的 原因 。 直 到 1990 年 ，ARPANET 网 络 ( 即 Internet 的 前 身 ) 在 当时 仍然 主要 供 科学 家 、 研 究 
人 员 及 学 者 使 用 。 受 到 www 的 激发 ，ARPANET 网 络 在 20 世 纪 90 年 代 开 始 迅速 发 展 。 


1.3.3 ”分布 式 计算 结构 


1. 多 处 理 器 体系 结构 


多 处 理 器 系统 是 最 简单 的 分 布 系统 ， 系 统 由 多 个 进程 组 成 ， 这 些 进程 可 能 在 不 同 的 处 理 器 上 运行 ， 进 程 的 分 布 是 预先 分 配 好 
的 或 是 在 控制 器 控制 之 下 。 


2. 客 户 机 /服务 器 体系 结构 


应 用 程序 被 建 模 成 一 组 服务 器 ， 这 些 服务 由 服务 器 提供 ， 并 由 客户 使 用 这 些 服务 。 客 户 知道 服务 器 的 存在 ， 但 服务 器 不 需要 
知道 客户 ， 客 户 和 服务 器 是 不 同 的 进程 。 


3. 分 层 的 应 用 体系 结构 

表示 层 : 关注 将 信息 表达 给 用 户 和 同 用 户 的 交互 。 

应 用 处 理 层 : 关注 实现 应 用 逻辑 。 例如， 在 一 个 银行 业 系统 中 ， 打 开 账 户 和 关闭 账户 动作 等 。 
数据 管理 层 : 关注 数据 库 管 理 (数据 的 操作 ) 。 

4. 分 布 式 对 象 体系 结构 


分 布 式 系统 的 客户 和 服务 器 的 地 位 是 相同 的 ， 分 布 式 对 象 体系 结构 中 无 客户 和 服务 器 之 分 ， 其 基本 系统 组 件 是 对 象 ， 能 给 
他 对 象 提供 服务 ， 而 且 接 受 来 自 其 他 对 象 的 服务 。 对象 通信 征 经 过 一 个 称 为 对 象 请 求 代理 的 中 间 件 (软件 总 线 ) 完成 的 ， 比 客户 
和 服务 器 系统 设计 要 复杂 得 多 。 


1.3.4 ”主要 分 布 式 技术 


1. 消 息 传递 (Message Passing) 


在 分 布 式 系统 中 ， 最 初 的 通信 机 制 是 消息 传递 。 进 行 通信 的 两 个 进程 使 用 发 送 原 语 (Send) 和 接收 原 语 (Receive) 进行 消 
息 的 发 送 和 接收 。 但 是 ， 通 信 原 语 的 使 用 使 分 布 式 应 用 的 开发 成 为 一 项 繁杂 的 工作 ， 开 发 出 的 程序 既 容易 出 错 而 又 难于 分 析 和 调 
试 。 


2. 远 程 过 程 调用 (Remote Procedure Call, RPC) 


远程 过 程 调用 (RPC) 隐 洋 了 网 络 的 具体 细节 ， 使 得 用 户 使 用 远程 服务 就 像 进 行 一 个 本 地 函数 调用 一 样 ， 但 在 通信 过 程 中 需 
要 在 远程 与 本 地 之 间 进 行 频繁 的 交互 。 


3. 远 程 求 值 (RemoteEvaluation ，REV) 


当 要 调用 的 过 程 在 远程 节点 上 并 不 存在 时 ， 远 程 求 值 允 许 网 络 中 的 节点 向 远程 节点 发 送 子 程序 和 参数 信息 。 远 程 节点 启动 
该 “ 子 程序 ”， 一 些 初始 请 求 可 由 该 子 程序 发 出 ， 中 间 结 果 也 由 该 子 程序 处 理 ， 子 程序 只 是 将 最 后 的 处 理 结果 返回 到 源 节 点 。 


4. 客 户 机 /服务 器 模式 (Client/Server，C/S) 


通信 的 实体 双方 有 固定 、 预 先 定 义 好 的 角色 : 服务 器 提供 服务 ， 客 户 使 用 服务 。RPC 模 式 和 REV 模 式 都 是 客户 机 /服务 器 模 
式 的 一 种 。 著 名 的 C/S 模 式 主要 有 CORBA、 (DCE) RPC 等 。 


5. 代 码 点 用 (Code-on-demand) 


针对 C/S 结 构 中 资源 过 于 集中 的 缺点 ，Code-on-demand 模 式 使 用 了 代码 移动 技术 ， 即 在 需要 远程 服务 时 ， 首 先 从 远程 获 
得 能 执行 该 服务 的 代码 。 典 型 的 例子 是 java 中 的 Applet (应 用 小 程序 ) 和 Servlet (服务 小 程序 ) 。 


6. 移 动 代理 (MobileAgent，MA) 


MA 可 以 (在 一 定 范围 内 ) 随意 移动 到 能 提供 服务 的 目标 主机 上 ， 可 以 连续 、 多 次 、 自 主 地 移动 。 典 型 地 ，Java 中 的 Applet 
和 Servlet 被 统一 成 移动 代理 。 


7. 万 维 网 服务 (Web Service) 技术 


Web Service 是 自 包 含 、 自 描述 、 模 块 化 的 应 用 程序 ， 可 以 发 布 、 定 位 、 通 过 Web 调 用 。 一 旦 部 署 以 后 ， 其 他 Web Service 
应 用 程序 可 以 发 现 并 调用 它 部 署 的 服务 。Web Service 可 以 使 用 标准 的 互联 网 协议 ， 如 超 文本 传输 协议 (HTTP) 和 XML, 将 功 
能 纲领 性 地 体现 在 互联 网 和 企业 内 部 网 站 上 。 可 将 Web 服 务 视 作 Web 上 的 组 件 编程 。 


1.4 ”网 格 计算 介绍 


本 节 给 出 了 网 格 计算 的 一 般 概念 ， 阐 述 了 网 格 计算 协议 的 结构 。 


1.4.1 网 格 的 产生 


网 格 (Grid) 这 个 词 来 自 于 电力 网 格 (PowerGrid) 。“ 网 格 ” 与 “电力 网 格 ” 类 似 。 一 方面 ， 计 算 机 网 络 纵横 交错 ， 很 像 
电力 网 。 另 一 方面 ， 电 力 网 格 用 高 压 线路 把 分 散在 各 地 的 发 电站 连接 在 一 起 ， 向 用 户 提供 源源 不 断 的 电力 。 用 户 只 需 插 上 揪 头 ， 
打开 开关 就 能 用 电 ， 不 需要 关心 电能 是 从 哪个 电站 送 来 的 ， 也 不 需要 知道 是 水 力 电 、 火 力 电 还 是 核能 电 。 建 设 网 格 的 目的 也 一 
样 ， 其 最 终 目的 是 希望 它 能 够 把 分 布 在 因特网 上 数 以 亿 计 的 计算 机 、 存 储 器 、 贵 重 设备 、 数 据 库 等 结合 起 来 ， 形 成 一 个 虚拟 的 、 
空前 强大 的 超级 计算 机 网 络 ， 满 足 不 断 增长 的 计算 、 人 存储 需求 ， 并 使 信息 世界 成 为 一 个 有 机 的 整体 。 


网 格 计算 是 分 布 式 计算 的 一 种 ， 也 是 一 种 与 集群 计算 非常 相关 的 技术 。 如 果 我 们 说 某 项 工作 是 分 布 式 的 ， 那 么 参与 这 项 工作 
的 一 定 不 是 一 台 计 算 机 ， 而 是 一 个 计算 机 网 络 ， 显 然 这 种 “蚂蚁 搬 山 ”的 方式 将 具有 很 强 的 数据 处 理 能 力 。 网 格 计算 的 实质 就 是 
组 合 与 共享 资源 并 确保 系统 安全 。 网 格 计算 通过 利用 大 量 异 构 计算 机 的 未 用 资源 〈CPU 周 期 和 磁盘 存储 ) ， 将 其 作为 嵌入 在 分 
布 式 电信 基础 设施 中 的 一 个 虚拟 的 计算 机 集群 ， 为 解决 大 规模 的 计算 问题 提供 一 个 模型 。 网 格 计算 的 优势 是 支持 跨 管理 域 计 算 的 


能 力 ， 这 使 它 与 传统 的 计算 机 集群 或 传统 的 分 布 式 计算 相 区 别 。 网 格 计算 的 目标 是 解决 单一 的 超级 计算 机 仍然 难以 解决 的 问题 ， 
并 同时 保持 解决 多 个 较 小 问题 的 灵活 性 。 这 样 ， 网 格 计算 就 提供 了 一 个 多 用 户 环境 。 


1.4.2 ”网 格 技术 的 特征 


在 介绍 网 格 技术 的 特征 之 前 ， 首 先 要 解决 一 个 重要 的 问题 : 网 格 是 不 是 分 布 式 系统 ? 这 个 问题 之 所 以 必须 回答 ， 因 为 人 们 常 
常会 问 另 一 个 相关 的 问题 : 为 什么 我 们 需要 网 格 ? 现在 已 经 有 很 多 系统 (如 海关 报关 系统 、 飞 机 订 票 系统 ) 实现 了 资源 共享 与 协 
同 工 作 ， 这 些 系统 与 网 格 有 什么 区 别 ? 


对 这 些 问题 的 简要 回答 是 : 网 格 是 一 种 分 布 式 系统 ， 但 网 格 不 同 于 传统 的 分 布 式 系统 。 构 建 分 布 式 系统 有 3 种 方法 ， 即 传统 
方法 (也 称 为 EDS 方 法 ) 、 分 布 自律 系统 (Autonomous Decentralized Systems，ADS) 方法 和 网 格 方法 。ADS 通 常用 于 工业 
控制 系统 中 。 


网 格 具 有 以 下 4 点 优势 : 


. 资源 共享 ， 消 除 资源 孤岛 。 网 格 能 够 提供 资源 共享 ， 能 消除 信息 孤岛 ， 实 现 应 用 程序 的 互 连 、 互 通 。 网 格 与 计算 机 网 络 不 
同 ， 计 算 机 网 络 实现 的 是 一 种 硬件 的 连通 ， 而 网 格 能 实现 应 用 层面 的 连通 。 


协同 工作 。 网 格 第 二 个 特点 是 协同 工作 ， 很 多 网 格 节点 可 以 共同 处 理 一 个 项 目 。 


" 通用 开放 标准 ， 非 集中 控制 ， 非 平凡 服务 质量 。 这 是 Ian Fostet 最 近 提 出 的 网 格 检验 标准 。 网 格 是 基于 国际 的 开放 技术 标 
准 ， 这 与 以 前 很 多 行业 、 部 门 或 者 公司 推出 的 软件 产品 不 一 样 。 


-动态 功能 ， 高 度 可 扩展 性 。 网 格 可 以 提供 动态 服务 ， 能 够 适应 各 种 变化 。 同 时 网 格 并 非 限制 性 的 ， 它 实现 了 高 度 的 可 扩展 


1.4.3 网 格 协 议 体系 结构 


lan Foster 于 2001 年 提出 了 网 格 计算 协议 体系 结构 ， 认 为 网 格 建设 的 核心 是 标准 化 的 协议 与 服务 。 该 结构 主要 包括 以 下 5 个 


如 次 : 


迎 


. 构造 层 (Fabric) : 控制 局 部 的 资源 。 构 造 层 由 物理 或 逻辑 实体 组 成 ， 目 的 是 为 上 层 提供 共享 的 资源 。 常 用 的 物理 资源 包 
括 计 和 工资 源 、 存 储 系统 、 目 录 、 网 络 资源 等 。 膛 辑 资源 包括 分 布 式 文件 系统 、 分 布 计算 池 、 计 算 机 群 等 。 构 造 层 组 件 的 功能 受 高 
层 需求 影响 ， 基 本 功能 包括 资源 查询 和 资源 管理 的 QoS 保证 。 


“ 连接 层 (Connectivity) : 支持 便利 安全 的 通信 。 该 层 定义 了 网 格 中 安全 通信 与 认证 授权 控制 的 核心 协议 。 资 源 间 的 数据 
交换 和 授权 认证 、 安 全 控制 都 在 该 层 控 制 实现 。 该 层 组 件 提 供 单 点 登录 、 代 理 委 托 、 同 本 地 安全 策略 的 整合 及 基于 用 户 的 信任 策 
略 等 功能 。 

. 资源 层 (Resource) : 共享 单一 资源 。 该 层 建 立 在 连接 层 的 通信 和 认证 协议 之 上 ， 满 足 安全 会 话 、 资 源 初始 化 、 资 源 运行 


状况 监测 、 资 源 使 用 状况 统计 等 需求 ， 通 过 调用 构造 层 函 数 来 访问 和 控制 局 部 资源 。 


* 汇集 层 (Collective) : 协调 各 种 资源 。 该 层 将 资源 层 提交 的 受 控 资 源 汇集 在 一 起 ， 供 虚拟 组 织 的 应 用 程序 共享 和 调用 。 该 


层 组 件 可 以 实现 各 种 共享 行为 ， 包 括 目录 服务 、 资 源 协同 、 资 源 监测 诊断 、 数 据 复制 、 负 荷 控 制 、 账 户 管理 等 功能 。 


应 用 层 (Application) : 为 网 格 上 用 户 的 应 用 程序 层 。 应 用 层 是 在 虚拟 组 织 环境 中 存在 的 。 应 用 程序 通过 各 层 的 应 用 程序 
编程 接口 (API) 调用 相应 的 服务 ， 再 通过 服务 调动 网 格 上 的 资源 来 完成 任务 。 为 便于 网 格 应 用 程序 的 开发 ， 需 要 构建 支持 网 格 
计算 的 大 型 函数 库 。 


1.5 云 计 算 介绍 


云 计 算是 一 种 计算 服务 形式 ， 不 是 数学 意义 上 的 计算 方法 。 本 节 将 介绍 云 计 算 服务 的 概念 和 云 计算 服务 产品 。 


1.5.1 云 计算 的 概念 


云 计 算 概念 从 提出 至 今 ， 将 近 10 年 了 。 这 10 年 间 ， 云 计算 得 到 了 飞速 的 发 展 ， 产 生 了 翻天 覆 地 的 变化 。 纵 观 计算 机 的 发 展 
史 ， 从 1946 年 制作 出 第 一 台 计 算 机 ， 到 20 世 纪 80 年 代 的 个 人 计算 机 ， 计 算 机 越 来 越 小 ， 计 算 能 力 越 来 越 强 ， 但 是 随 着 半导体 技 
术 的 进步 放 缓 ， 摩 尔 定律 正在 逐渐 “失效 ”。 英 特 尔 公司 的 制程 工艺 从 45 纳 米 变 为 32 纳 米 用 了 大 约 27 个 月 ， 从 32 纳 米 到 22 纳 米 
用 了 28 个 月 ， 从 22 纳 米 到 目前 的 14 纳 米 则 用 了 30 个 月 。 从 2014 年 9 月 开始 ， 英 特 尔 公司 在 制程 工艺 方面 就 再 无 进展 。 


下 面 通过 几 段 情景 对 话 来 引出 云 计 算 的 概念 。 


老师 : “我 们 先 思考 一 个 问题 : 如 果 想 让 计算 机 的 功能 变 强 ， 应 该 怎么 办 ?“ 

学 生 : “ 那 还 不 简单 ， 加 CPU， 加 内 存 ， 加 硬盘 即 可 .。“ 

老师 : “但 是 卡 模 是 有 限 的 ， 现 在 已 经 插 满 了 ， 以 后 该 怎么 办 呢 ?“ 

学 生 : “简单 ， 换 更 高 级 的 CPU， 换 新 的 DDR 内 存 ， 换 新 的 SSD 硬 盘 ! " 

老师 : “但 是 摩尔 定律 已 经 失效 了 ， 硬 件 更 新 越 来 越 慢 了 ， 因 此 更 换 硬 件 的 方法 越 来 越 行 不 通 了 。” 


显而易见 ， 还 有 一 种 办 法 ， 就 是 利用 更 多 的 计算 机 ， 但 是 需要 解决 一 个 问题 ， 那 就 是 不 同 的 计算 机 之 间 如 何 协 同 工 作 。 就 像 
一 个 小 项 目 ， 原 来 由 一 个 人 来 做 ， 只 要 加 加 班 ， 也 能 快速 完成 。 现 在 这 个 项 目 扩大 了 ， 光 靠 一 个 人 加 班 不 能 解决 问题 ， 需 要 
1000 个 人 一 起 做 ， 那 么 怎么 知道 谁 在 工作 ， 谁 在 偷懒 呢 ?” 这 样 就 必须 引入 项 目 管理 ,计算机 引入 并 行 计算 。 


并 行 计算 也 很 好 理解 ， 好 比 项 目 管理 里 ， 把 一 个 任务 拆 成 1000 份 ， 由 1000 个 人 同时 开始 干 ， 每 人 干 1 份 ， 如 果 以 前 1 个 人 需 
要 干 1000 小 时 ， 那 么 现在 1000 个 人 干 1 个 小 时 就 可 以 完成 了 。 并 行 计算 很 简单 ， 其 实 就 是 云 计 算 的 基础 。” 


学 生 : “真有 聪明 ， 原 来 做 项 目 这 么 简单 ， 我 加 和 就 好 了 !“ 
情景 2 


经 理 : “老板 有 一 个 很 大 很 大 的 项 目 ， 我 申请 加 10000 人 。” 


老板 : “10000 人 来 了 ， 坐 哪里 ?“ 
经 理 : “杭州 一 个 办 公 室 ， 北 京 一 个 办 公 室 ， 杭 州 5000 人 ， 北 京 5000 人 。 
老板 : “人 坐 在 一 起 ， 做 事 好 商量 ,但 两 地 的 进展 怎么 同步 ? " 


经 理 : “这 还 真是 个 问题 ， 需 要 解决 的 问题 还 真 多 !“ 


员工 甲 : “老板 ，XX 员 工 前 不 久生 病 了 ， 他 的 任务 一 直 没 人 做 ， 现 在 我 们 整个 项 目 受 影响 了 ， 项 目 不 能 按时 交付 。” 
老板 : “你 怎么 不 安排 一 个 人 代替 ? " 

员工 甲 : “别人 已 经 有 工作 了 啊 !“ 

老板 : “你 不 能 把 这 个 工作 再 切 分 成 999 份 ， 每 人 做 一 份 ?“ 

员工 乙 : “老板 ， 他 能 力 比较 强 ， 为 啥 我 分 的 跟 他 一 样 多 啊 !“ 

老板 : “你 不 能 按照 能 力 来 分 配 任务 吗 ?“ 

员工 甲 抚 额 ， 心 里 默念 : 这 还 让 人 活 吗 ? 

员工 再: “老板 ， 我 们 现在 没 活 了 ， 人 不 能 闲 在 这 里 。 

老板 : “你 不 会 考虑 一 下 让 这 些 人 给 别人 开发 项 目 去 ?“ 

员工 两: “但 是 ， 别 人 只 要 半 个 人 的 工时 ， 或 者 几 个 小 时 的 工作 量 ， 我 们 人 太 多 了 。 
老板 : “你 不 会 把 一 个 人 当成 几 个 虚拟 的 人 ， 或 者 按 工时 算 呀 。 


通过 以 上 几 段 情景 对 话 可 以 看 出 ， 想 要 管理 这 么 多 台 计 算 机 ， 管 理 这 么 多 人 ， 做 这 么 多 事情 ， 还 真 不 简单 ， 要 有 人 管理 协调 
分 工 (并 行 计算 ) ， 有 人 管理 谁 多 谁 少 (负载 均衡 ) ， 需 要 允许 有 人 生病 、 辞 职 ( 热 备 元 余 ) ， 还 需要 解决 “ 卖 半 个 人 ， 甚 至 十 
分 之 一 个 人 ”的 问题 (虚拟 化 ) 。 


云 计算 (Cloud Computing) 是 分 布 式 处 理 (Distributed Computing) 、 并 行 处 理 (Parallel Computing) 和 网 格 计算 
的 发 展 结果 ， 或 者 说 是 这 些 计算 机 科学 概念 的 商业 实现 。 


云 计算 的 基本 原理 是 把 计算 任务 分 配 在 大 量 的 分 布 式 计算 机 上 ， 而 非 本 地 计算 机 或 远程 服务 器 中 。 企 业 数据 中 心 的 运行 与 互 
联网 相似 ， 这 使 得 企业 能 够 将 资源 切换 到 需要 的 应 用 上 ， 根 据 需求 访问 计算 机 和 存储 系统 。 


这 是 一 种 革命 性 的 举措 ， 就 好 比 从 古老 的 单 台 发 电机 模式 转向 了 电厂 集中 供电 的 模式 。 它 意味 着 计算 能 力也 可 以 作为 一 种 商 
品 进行 流通 ， 就 像 煤气 、 水 电 一 样 ， 取 用 方便 ， 费 用 低廉 ， 而 与 它们 的 主要 区 别 在 于 ， 它 是 通过 互联 网 进行 传输 的 。 


云 计 算 的 蓝图 已 经 呼之欲出 : 在 未 来 ， 只 需要 一 台 笔 记 本 电脑 或 一 部 手机 ， 就 可 以 通过 网 络 服务 来 实现 我 们 需要 的 一 切 ， 甚 
至 包括 超级 计算 这 样 的 任务 。 从 这 个 角度 而 言 ， 最 终 用 户 才 是 云 计算 的 真正 拥有 者 。 


云 计 算 的 应 用 思想 是 : 把 力量 联合 起 来 ， 给 其 中 的 每 一 个 成 员 使 用 。 


1.5.2” 云 计算 服务 的 形式 


云 计 算 的 服务 分 为 SaaS、PaaS 和 1aaS 这 3 种 基本 服务 形式 。 
1.9aa9 (软件 即 服务 ) 


软件 即 服务 (SaaS) 是 通过 Internet 交 付 软件 应 用 程序 的 方法 ， 通 常 以 订阅 为 基础 按 需 提供 。 使 用 SaaS 时 ， 云 提供 商 管理 
软件 应 用 程序 和 基础 结构 ， 负 责 软件 升级 和 安全 修补 等 维护 工作 ， 用 户 (通常 使 用 手机 、 平 板 电脑 或 计算 机 上 的 Web 浏 览 器 ) 
通过 互联 网 获得 所 需 的 应 用 程序 。 


这 种 类 型 的 云 计算 通过 浏览 器 把 程序 传 给 干 万 个 用 户 。 从 用 户 角度 来 看 ， 这 样 省 去 了 服务 器 和 软件 授权 上 的 开支 ; 从 供应 商 
角度 来 看 ， 这 样 只 需要 维持 一 个 程序 就 够 了 ， 能 够 减少 成 本 。Salesforce.com 是 迄今 为 止 这 类 服务 最 有 名 的 公司 。SaaS 在 人 力 
资源 管理 程序 和 ERP 中 比较 常用 。Google Apps 和 Zoho Office 也 是 类 似 的 服务 。 


实用 计算 (Utility Computing) 服务 最 近 才 在 Amazon.com、Sun、IBM 和 其 他 提供 存储 服务 和 虚拟 服务 器 的 公司 中 获得 
新 生 。 这 种 云 计 算是 为 IT 行业 创造 虚拟 的 数据 中 心 ， 使 得 其 能 够 把 内 存 、VO 设 备 、 存 储 和 计算 能 力 集中 起 来 成 为 一 个 虚拟 的 资 
源 池 ， 为 整个 网 络 提供 服务 。 


网 络 服务 同 Saas 关 系 密切 ， 网 络 服务 提供 商 能 够 提供 API 接 口 ， 让 开发 者 开发 出 更 多 基于 互联 网 的 应 用 ， 而 不 是 提供 单机 程 
序 。 


2. 平 台 即 服务 (Paas) 


平台 即 服 务 (PaaS) 是 指 云 计 算 服务 ， 它 们 可 以 按 需 提供 开发 、 测 试 、 交 付 和 管理 软件 应 用 程序 所 需 的 环境 。Paas 旨 在 让 
开发 人 员 能 够 更 轻松 快速 地 创建 Web 或 移动 应 用 ， 而 无 须 考 虑 对 开发 所 必需 的 服务 器 、 存 储 空间 、 网 络 和 数据 库 基 础 结构 进行 
设置 或 管理 。 


Paas 形 式 的 云 计算 把 开发 环境 作为 一 种 服务 对 外 提供 开发 者 可 以 使 用 中 间 商 的 设备 来 开发 自己 的 程序 并 通过 互联 网 和 其 服 
务 器 传 到 用 户 手 中 。 


3. 基 础 设施 即 服务 (laa5) 


基础 设施 即 服务 (laaS) 是 指 提供 给 消费 者 的 服务 是 对 所 有 设施 的 利用 ， 包 括 处 理 、 存 储 、 网 络 和 其 他 基本 的 计算 资源 ， 用 
户 能 够 部 署 和 运行 任意 软件 ， 包 括 操作 系统 和 应 用 程序 。 消 费 者 不 管理 或 控制 任何 云 计算 基础 设施 ， 但 能 控制 操作 系统 的 选择 、 
储存 空间 、 部 署 的 应 用 ， 也 有 可 能 获得 有 限制 的 网 络 组 件 (如 防火 墙 、 负 载 均衡 器 等 ) 的 控制 。 


1.5.3” 云 计算 的 产品 


国内 云 计算 公司 最 具 代表 性 的 当 属 阿 里 巴巴 的 阿里 云 。 下 面 我 们 看 一 下 阿里 云 提 供 的 产品 。 如 图 1.4 是 阿里 云 提 供 的 虚拟 主 
机 服务 ,价格 是 每 年 118 元 。 可 以 看 到 这 个 价格 比 传统 的 PC 机 要 便宜 得 多 ， 而 且 没 有 升级 换代 、 废 旧 机 器 处 理 的 麻烦 ， 没 有 需要 
安装 一 堆 杀 毒 软件 、 防 火 墙 软件 等 烦心 事 ， 用 户 只 需要 直接 使 用 ， 享 受 便捷 的 服务 即 可 。 可 以 想象 ， 未 来 的 家 庭 只 要 有 一 个 终 
端 ， 然 后 租用 云 服务 公司 提供 的 计算 和 存储 服务 ， 就 可 以 实现 家 庭 电脑 一 样 的 用 途 。 


云 服务 器 EC3S 


购买 右 侧 指定 配置 云 服务 器 可 字 受 9.975/ 月 优惠 ， 如 时 年 付 ,还 赠送 对 条 存储 CSS、 域 各 代金 券 、 大 效 
据 产 届 代 金 券 。clouderf 让 和 证 优惠 等 寡 项 权益 。 许 经 规则 


1 核 cpu 2G 内 存 1M 营 读 40G 妈 生 六 


Intel Xeon ES-2682 v4 最 新 一 代 DDR4 内 存 VPC 专 有 网 络 , WO 做 化 高 效 云 盘 


采用 全 新 系列 凡 实例 ,县 有 了 奥 好 的 网 络 iO 和 和 存 和 镶 性 能 
图 1-4 ”阿里 云 服务 器 配置 


如 图 1.5 所 示 为 阿里 云 为 企业 提供 的 云 服务 器 ， 可 以 看 出 这 个 企业 级 服务 器 配置 相当 强大 ， 云 技术 不 仅 能 够 为 个 人 服务 ， 还 
能 应 用 到 企业 层面 。 


100 万 PPS， 适 用 于 高 网 络 包 收 发 场景 ， 如 视频 弹 幕 ， 电 信 业 务 转发 ， 各 种 类 型 
和 规模 的 企业 级 应 用 ; 


010101 


图 1-5 ”企业 云 服 务 器 


1.6 本章 小 结 


本 章 介绍 了 物 联 网 数据 分 析 中 的 一 些 基 础 知识 ， 如 传统 的 概率 论 和 数理 统计 方法 等 。 而 分 布 式 计算 、 网 格 计算 和 云 计 算是 近 
几 年 出 现 的 计算 方法 ， 在 物 联网 分 析 中 也 有 广泛 的 应 用 。 


1.7 ”习题 


1. 有 一 个 均匀 陀螺 ， 在 其 圆周 上 均匀 地 刻 上 区 间 [0，3) 上 的 数字 ， 然 后 旋转 这 个 陛 螺 。 求 陀螺 停 下 时 其 圆周 与 桌面 接触 点 


Ee 
的 刻度 位 于 - 2” -上 的 概率 。 
2. 在 相同 条 件 下 独立 地 射击 5 次 ， 每 次 射击 击 中 目标 的 概 庚 为 0.6。 求 击 中 目标 的 次 数 E 的 分 布 密度 。 


3. 简 述 分 布 式 计算 技术 的 发 展 历程 。 


第 2 章 ” 云 计算 方法 


云 计 算 的 概念 在 2007 年 之 前 基本 上 无 人 知晓 ， 而 现今 可 以 说 是 无 人 不 知 ， 无 人 不 晓 ， 变 得 炙手可热 。 截 至 2018 年 1 月 ， 在 
百度 上 搜索 “ 云 计算 ”， 可 以 看 到 有 约 2640 万 条 结果 。 可 见 云 计算 的 影响 多 么 广泛 ， 而 IT 界 基 本 没有 人 不 知道 云 计算 。 


2.1 云 计 算 的 上 展 历程 


大 众 普遍 认为 “ 云 计 算 ” 是 在 2006 年 Google 搜 索引 警 大 会 上 正式 提出 的 。 下 面 我 们 就 从 2006 年 开始 ， 结 合 维基 百科 对 云 计 
算 发 展 历程 的 介绍 来 了 解 云 计算 。 


2006 年 8 月 9 日 ，Google 行 政 总 裁 埃 里 克 - 施 密 特 在 搜索 引 掌 大 会 (SES San Jose2006) 上 首次 提出 “云端 计算 ”的 概念 。 
Google “云端 计算 ” 源 于 Google 工 程 师 克里斯托弗 - 比 希 利 亚 所 做 的 “Google101” 项 目 。 

2007 年 10 月 ，Google 与 | BM 开始 在 美国 大 学 校园 (包括 卡 内 基 梅 隆 大 学 、 麻 省 理工 学 院 、 丹 佛 大 学 、 加 利 福 尼 亚 大 学 柏 克 
利 分 校 及 马里 兰 大 学 等 ) 推广 云端 运算 的 计划 。 这 项 计划 希望 能 降低 分 散 式 运算 技术 在 学 术 研究 方面 的 成 本 ， 并 为 这 些 大 学 提供 
相关 的 软 硬 体 设备 及 技术 支援 (包括 数 百 台 个 人 计算 机 及 BladeCenter 与 System x 伺 服 器 ， 这 些 运算 平台 将 提供 1600 个 处 理 
器 ， 支 援 包括 Linux、Xen、Hadoop 等 开放 原 代码 平台 ) 。 而 学 生 则 可 以 通过 网 路 开发 各 项 以 大 规模 运算 为 基础 的 研究 项 目 。 

2008 年 1 月 30 日 ，Google 宣 布 在 中 国 台湾 地 区 启动 “ 云 计算 学 术 项 目 ”， 与 台湾 地 区 的 部 分 高 校 合 作 ， 将 这 种 先进 的 大 规 
模 、 快 速 运算 技术 推广 到 校园 。 


2008 年 7 月 29 日 ， 雅 虎 、 囊 普 和 英特尔 公司 宣布 了 一 项 涵盖 美国 、 德 国 和 新 加 坡 的 联合 研究 计划 ， 推 出 云 计算 研究 测试 床 ， 


推进 了 云 计算 的 发 展 。 该 计划 要 与 合作 伙伴 建立 6 个 数据 中 心 作 为 研究 试验 平台 ， 每 个 数据 中 心 配置 1400 ~ 4000 个 处 理 器 。 这 
些 合作 伙伴 包括 新 加 坡 资 讯 通 信 发 展 管理 局 、 德 国 卡尔 斯 鲁 厄 大 学 Steinbuch 计 算 中心 、 美 国 伊利 诺 大 学 香 宾 分 校 、 英 特 尔 研究 
院 、 惠 普 实 验 室 和 雅虎 。 


2008 年 8 月 3 日 ， 美 国 专利 商标 局 网 站 信息 显示 ， 戴 尔 正在 申请 “ 云 计算 ” (Cloud Computing) 商标 ， 此 举 旨 在 加 强 对 这 
一 未 来 可 能 重 塑 技术 架构 的 术语 控制 权 。 戴 尔 在 申请 文件 中 称 ， 云 计算 是 “在 数据 中 心 和 巨型 规模 的 计算 环境 中 ， 为 他 人 提供 计 
算 机 硬件 定制 制造 ”。 


2010 年 3 月 5 日 ，Novell 与 云端 安全 联盟 (CSA) 共同 宣布 一 项 供应 商 中 立 计划 ， 名 为 “可 信任 云端 运算 计划 ”。 


2010 年 7 月 ， 美 国 太空 总 署 和 包括 Rackspace、AMD、lntel 和 戴尔 等 支援 三 商 共 同 宣布 OpenStack 开 放 源 码 项 目 ; 微软 在 
2010 年 10 月 表示 支持 OpenStack 与 Windows Server2008R2 的 整合 ; 而 Ubuntu 已 把 OpenStack 加 至 11.04 版 本 中 ; 2011 年 2 
月 ， 思 科 系 统 正式 加 入 OpenStack， 重 点 研制 OpenStack 的 网 络 服务 。 


云 计算 并 不 是 一 项 具体 的 技术 或 标准 ， 只 是 一 个 概念 ， 所 以 对 于 云 计 算 的 理解 众说 纷 练 ， 不 同 的 人 站 在 不 同 的 角度 ， 会 有 不 
同 的 理解 和 定义 ， 如 图 2.1 所 示 。 


图 2-1 云 计 算 说 法 不 一 


对 云 计算 定义 的 众多 说 法 ， 在 此 笔者 就 不 再 过 多 描述 。 现 阶段 广 为 接 受 同时 也 是 笔者 比较 认可 的 对 于 云 计算 的 定义 ， 即 美国 


国家 标准 与 技术 研究 院 (NIST) 给 出 的 定义 : 云 计 算是 一 种 资源 的 使 用 模式 ， 这 种 模式 是 对 可 配置 的 计算 资源 共享 池 (资源 包 

括 网 络 、 服 务 器 、 存 储 、 应 用 软件 和 服务 ) 提供 可 用 的 、 便 捷 的 、 按 需 的 网 络 访问 ， 只 需 投入 很 少 的 管理 工作 ， 或 与 服务 供应 商 
进行 很 少 的 交 豆 ， 这 些 资源 即 可 被 快速 提供 。 与 维基 百科 上 对 于 云 计算 的 定义 基本 一 致 : 云 计算 是 一 种 基于 互联 网 的 计算 方式 ， 

通过 这 种 方式 ， 共 享 的 软 、 硬 件 资源 和 信息 以 互联 网 服务 的 方式 按 需 提供 。 


早期 的 IT 资 源 使 用 方式 基本 属于 这 种 模式 : 每 个 IT 资源 使 用 的 终端 用 户 ， 都 是 自己 购买 IT 资源 (服务 器 、 存 储 、 网 络 、 服 务 
等 ) ， 根 据 自 身 情况 自行 搭建 这 种 环境 ， 自 行 维护 ， 我 们 可 以 认为 是 一 种 相对 简单 的 私有 云 计 算 ， 是 一 种 各 自 为 政 的 方式 。 云 计 
算 这 种 方式 的 产生 ， 其 实 是 把 IT 资源 集中 化 ， 对 于 终端 用 户 来 讲 不 再 关注 基础 设施 的 投入 和 维护 ， 终 端 用 户 只 需 关 注 自己 的 需 
求 ， 这 样 对 终端 用 户 来 说 减少 了 基础 设施 的 投入 ， 免 去 了 对 于 IT 资源 的 维护 ， 变 相 提 高 了 效率 ， 减 少 了 成 本 投入 。 


对 于 服务 提供 商 来 说， 为 更 好 地 为 终端 用 户 提 供 服 务 ， 需 要 更 加 专注 于 服务 质量 ， 为 提升 服务 质量 ， 促 使 提供 商 们 在 IT 资源 
基础 设施 上 有 更 好 的 投入 ， 维 护 管理 上 更 加 简单 、 高 效 。 


2.3” 云 计算 原理 


云 计 算 的 基本 原理 是 ， 基 于 当前 的 无 处 不 在 的 互联 网 ， 把 物理 上 分 散 的 计算 机 、 存 储 池 ， 通 过 分 布 式 系统 软件 有 效 地 整合 起 
来 ， 再 利用 虚拟 技术 、Web 技 术 ， 按 照 客 户 需求 动态 提供 资源 、 服 务 等 。 最 形象 的 一 种 比喻 就 好 比 各 发 电厂 发 电 后 ， 统 一 送 往 
电网 ， 用 户 用 电 时 只 需要 通过 某 种 方式 接 入 电网 ， 就 可 以 方便 地 使 用 电能 。 对 于 云 计算 来 说 终端 用 户 获取 的 是 资源 、 服 务 ， 使 用 
的 网 络 不 是 电网 而 是 互联 网 。 


云 计算 的 蓝图 广阔 ， 未 来 ， 只 需要 一 台 笔 记 本 或 一 部 手机 ， 然 后 通过 网 络 服务 就 可 以 实现 我 们 需要 的 一 切 ， 甚 至 包括 超级 计 
算 这 样 的 任务 。 


云 计 算 并 不 是 一 个 具体 的 技术 ， 而 是 众多 技术 基于 网 络 的 一 个 协同 工作 ， 包 括 数据 中 心 技术 、 虚 拟 技术 、Web 技 术 、 多 租 
户 技术 。 下 面 我们 对 如 何 使 用 网 络 资源 和 最 基本 的 技术 进行 详细 介绍 。 


2.3.1 网 络 体系 结构 


所 有 的 云 平台 必须 连接 到 网 络 ， 对 网 络 形成 了 一 个 固有 的 依赖 ， 因 此 ， 云 平台 的 潜力 通常 与 互联 网 连接 性 和 服务 质量 的 提高 
同步 增长 。 如 图 2.2 所 示 为 云 计 算 网 络 拓扑 结构 示意 图 。 
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图 2-2 云 计算 网 络 拓扑 结构 示意 图 


1. 网 络 服务 提供 商 (1SP) 


网 络 运 营 商 建立 和 部 署 的 因特网 上 最 大 的 骨干 网 ， 使 用 核心 路 由 器 完成 全 球 多国 网 络 的 相互 联接 。1SP 可 以 自由 地 部 署 、 操 
作 和 管理 他 们 的 网 络 ， 选 择 合作 伙伴 1SP 进 行 互 连 。 政 府 和 监管 法 律 规定 了 境内 、 境 外 组 织 和 1SP 的 服务 提供 条 件 。 较 小 的 网 络 分 
支 从 这 些 互 连 的 主要 节点 延伸 出 来 ， 通 过 较 小 的 网 络 向 外 延伸 ， 最 终 到 达 每 一 个 因特网 上 的 电子 设备 。 


通过 1、2、3 级 的 分 层 拓扑 结构 示意 图 ， 如 图 2.3 所 示 ， 可 实现 全 球 联通 性 。 核 心 层 1 是 由 大 型 国际 商 组 成 的 ， 他 们 负责 监督 
大 规模 互联 的 全 球 网 络 ， 这 些 网 络 连 接 到 第 2 级 的 大 型 区 域 供应 商 。 第 2 层 互联 的 1SP 与 第 1 级 提供 商 及 第 3 层 的 本 地 |SP 连 接 。 云 
消费 者 和 云 提供 商 可 以 直接 使 用 第 1 层 供应 商 连 接 ， 因 为 任何 运营 的 ISP 都 可 以 启用 因特网 连接 。 


> 忆 


图 2-3 云 计算 分 层 拓扑 结构 示意 图 


互联 网 和 ISP 网 络 的 通信 和 链 路 、 路 由 器 是 分 布 在 无 数 流 量 生成 路 径 之 间 的 IT 资 源 。 用 于 构建 互联 架构 的 两 个 基本 组 件 是 无 连 
接 分 组 交换 (数据 报 网 络 ) 和 基于 路 由 器 的 互 连 。 


2. 无 连接 分 组 交换 (数据 报 网 络 ) 


端 对 端 (发 送 方 一 接收 方 对 ) 数据 流 被 划分 为 有 限 大 小 的 数据 包 ， 通 过 网 络 交 换 机 和 路 由 器 接收 、 处 理 数据 包 ， 然 后 从 一 


个 中 间 节 点 转发 到 下 一 个 中 间 节 点 。 每 个 数据 包 携带 必要 的 位 置信 息 ， 如 IP 或 MAC 地 址 ， 在 每 个 源 节点 、 中 间 节 点 和 目的 地 节 
点 上 处 理 和 路 由 数据 包 ，。 
3. 基 于 路 由 器 的 互联 互通 


路 由 器 是 连接 到 多 个 网 络 的 设备 ， 通 过 它 转发 数据 包 。 即 使 连续 的 数据 包 属 于 同一 数据 流 ， 路 由 器 仍 单独 处 理 和 转发 每 个 数 
据 包 ， 同 时 维护 在 源 节点 和 目的 节点 之 间 的 通信 路 径 ， 修 订 下 一 个 节点 的 网 络 拓扑 信息 。 路 由 器 管理 网 络 流量 ， 并 测量 分 组 传送 
最 有 效 的 跳 数 。 


网 络 互联 的 基本 原理 如 图 2.4 所 示 ， 消 息 源 自 于 无 序 的 数据 包 接收 组 。 路 由 器 接收 并 转发 来 自 多 个 数据 流 的 数据 包 。 


包 流 出 路 由 需 
包 处 理 和 排序 


图 2.4 ”网 络 互 连 原理 


连接 云 终 端 客 户 与 其 云 提供 商 的 通信 路 径 可 能 涉及 多 个 1SP 网 络 。 因 为 互联 网 的 网 格 结构 特征 ， 所 以 连接 Internet 主 机 ( 端 
点 系统 ) 存在 多 个 替代 网 络 路 由 。 这 样 即 使 在 发 生 网 络 故障 的 情况 下 ， 通 信 仍 然 可 以 持续 ， 但 使 用 多 个 网 络 路 径 可 能 会 导致 路 由 
波动 和 延迟 。 


2.3.2 ”网 络 协议 模型 


网 络 普遍 采用 OsI 七 层 协议 模型 ， 正 是 网 络 协议 的 标准 化 ， 才 使 得 网 络 得 以 迅速 发 展 ， 下 面 针 对 网 络 的 协议 模型 进行 简要 介 


绍 。 
1. 物 理 网 络 


IP 分 组 通过 连接 相 邻 节点 的 底层 物理 网 络 进行 传输 ， 如 以 太 网 、ATM 网 络 和 3G 移 动 HSDPA。 物 理 网 络 包括 控制 相 邻 节点 之 
间 数 据 传输 的 数据 链 路 层 ， 以 及 通过 有 线 和 无 线 介质 传输 数据 位 的 物理 层 。 


2. 传 输 层 协议 


传输 层 协议 ， 如 传输 控制 协议 (TCP) 和 用 户 数据 报 协 议 (UDP) ， 使 用 IP 提 供 标准 化 的 、 端 到 端的 通信 支持 ， 有 助 于 因 特 
网 上 数据 包 的 传输 。 


3. 应 用 层 协议 


例如 HTTP、 电 子 邮件 的 SMTP、P2P 的 BitTorrent 和 IP 电 话 的 SIP 协 议 ， 都 使 用 应 用 层 协议 来 规范 和 启用 因特网 上 的 特定 数 
据 包 传 输 方法 。 许 多 其 他 协议 也 满足 了 以 应 用 程序 为 中 心 的 需求 ， 并 使 用 TCP/IP 或 UDP 作为 它们 在 因特网 和 局 域 网 上 传输 数据 
的 主要 方法 。 


如 图 2.5 所 示 为 因特网 参考 模型 和 协议 栈 示 意图 。 
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图 2-5 因特网 参考 模型 和 协议 栈 示意 图 


云 计算 出 现 之 前 ， 在 传统 的 部 署 模型 中 ， 企 业 应 用 程序 和 各 种 IT 解决 方案 通常 驻 留 在 企业 自己 的 数据 中 心 的 集中 式 服务 器 和 
人 存储 设备 上 ， 如 图 2.6 所 示 。 用 户 设备 (如 智能 手机 和 笔记 本 电脑 ) 通过 企业 网 络 访问 数据 中 心 ， 从 而 提供 不 间断 的 Internet 连 
接 。 


TCP/IP 协 议 方便 互联 网 接 入 和 局 域 网 内 部 数据 交换 。 虽 然 这 种 配置 通常 不 称 为 云 模型 ， 但 是 对 于 中 型 和 大 型 内 部 部 署 网 
络 ， 这 种 配置 已 经 被 多 次 实施 。 
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图 2-6 ”企业 私有 云 示意 图 


使 用 图 2.6 这 种 部 署 模式 的 组 织 ， 可 以 直接 访问 互联 网 ， 可 以 完全 控制 网 络 流量 ， 可 以 使 用 防火 墙 和 监控 软件 来 保护 他 们 的 
企业 网 络 。 这 些 组 织 也 承担 部 署 、 运 营 、 维 护 其 IT 资 源 、 保 持 互 联网 畅通 的 责任 。 


通过 Internet 连 接 到 网 络 的 终端 用 户 设备 ， 可 以 连续 地 访问 云 中 的 集中 式 服 务 器 和 应 用 程序 ， 如 图 2.7 所 示 。 


最 终 用 户 的 突出 云 功能 是 ， 如 何 使 用 相同 的 网 络 协 议 访问 集中 式 IT 资 源 ， 而 不 管 其 位 于 公司 网 络 内 部 还 是 外 部 。 即 使 最 终 用 
户 本 身 并 不 关心 基于 云 的 IT 资 源 的 物理 位 置 (内 部 或 外 部 ) ， 但 最 终 用 户 访问 服务 的 基础 还 是 基于 互联 网 的 信息 。 


云 提供 商 可 以 轻松 地 配置 基于 云 的 IT 资 源 ， 以 便 通 过 因特网 为 外 部 和 内 部 用 户 提 供 可 访问 性 (如 图 2.7 所 示 ) 。 这 种 互联 网 
架构 有 利于 内 部 用 户 随 时 访问 企业 IT 解决 方案 ， 以 及 为 外 部 用 户 提供 基于 因特网 的 服务 。 云 服务 提供 商 提供 优 于 单个 组 织 连接 的 
互联 网 连接 ， 而 额外 的 网 络 使 用 费用 也 作为 定价 模式 的 一 部 分 。 


用 户 远程 访问 云 服务 


” 云 服务 消费 


NN 


云 服务 提供 商 网 络 


图 2-7 用 户 访问 云端 原理 示意 图 


4. 网 络 带宽 和 网 络 延 迟 


除了 受 连 接 到 ISP 的 数据 链 路 的 带宽 影响 外 ， 终 端 到 云端 带宽 取决 于 中 间 节 点 共享 数据 链 路 的 传输 能 力 。1SP 保 证 终端 到 云端 
连接 的 核心 网 络 畅通 。 随 着 Web 加 速 技术 (如 动态 缓存 、 压 缩 和 预 取 ) 的 发 展 ， 终 端 用 户 对 于 带宽 的 需求 会 不 断 增加 。 


网 络 延迟 是 一 个 数据 包 从 一 个 数据 节点 到 另 一 个 数据 节点 所 需 的 时 间 。 随 着 数据 包 路 径 上 的 每 个 中 间 节 点 的 延迟 增加 ， 网 络 
基础 设施 中 的 传输 队列 也 会 增加 网 络 延 迟 。 因 网 络 依赖 于 共享 节点 的 通信 条 件 ， 所 以 使 得 因特网 延迟 非常 易 变 ， 而 且 常 常 不 可 预 
测 。 


网 络 “ 尽 力 而 为 ”服务 质量 (QoS) ， 通 常 以 先 到 先 得 的 方式 传输 分 组 。 在 不 优先 考虑 流量 的 情况 下 ， 使 用 拥挤 网 络 路 径 的 
数据 流 ， 以 带宽 减少 、 延 迟 增加 或 数据 包 丢 失 的 形式 反应 服务 级 别 的 退化 。 


分 组 交换 的 性 质 ， 人 允许 数据 包 在 通过 因特网 的 网 络 基 础 设施 时 ， 动 态 地 选择 路 由 。 由 于 这 种 动态 选择 的 结果 ， 使 数据 分 组 的 
传播 速度 易 受 网 络 拥塞 等 条 件 的 影响 ， 是 不 均匀 的 ， 因 此 终端 到 云端 Qos 可 能 会 受到 影响 。 


IT 解决 方案 针对 受 网 络 带 宽 和 网 络 延 迟 影响 的 业务 需求 进行 评估 ， 这 些 是 云 豆 联 固有 的 问题 。 网 络 带宽 对 于 那些 需要 传输 大 
量 数据 到 云 平台 中 的 应 用 程序 是 至 关 重要 的 ， 而 对 于 快速 响应 业务 需求 的 应 用 程序 来 说 ， 网 络 是 否 会 延迟 是 至 关 重 要 的 。 


5. 云 运营 商 和 云 服 务 供应 商 选 择 


云 终端 客户 和 云 提 供 商 间 因 特 网 联接 的 服务 水 平 取决 于 ISP， 它 们 通常 是 不 同 的 ， 在 其 路 径 中 通常 包括 多 个 |SP 网 络 。 跨 多 个 


ISP 的 QoS 管 理 在 实践 中 很 难 实现 ， 需 要 双方 的 云 运 营 商 进行 协作 ， 以 确保 端 到 端的 服务 水 平 足以 满足 业务 需求 。 


云 终端 客户 和 云 服务 提供 商 可 能 需要 使 用 多 个 云 运 营 商 ， 以 实现 其 云 应 用 程序 的 必要 连接 和 可 靠 性 ， 从 而 会 产生 额外 的 成 
本 。 因 此 ， 对 于 较 宽 松 的 网 络 延迟 和 网 络 带 宽 要 求 的 应 用 程序 ， 云 应 用 更 容易 。 


2.3.3 ”数据 中 心 


数据 中 心 将 IT 资 源 紧 密 地 组 合 在 一 起 ， 而 不 是 让 它们 在 地 理 上 分 散 ， 人 允许 共享 权力 ， 提 高 共享 


是 高 共享 |T 资 源 使 用 的 效率 ， 并 提高 IT 


人 员 的 可 访问 性 。 这 些 优 势 自然 地 推广 了 数据 中 心 的 概念 。 现 代数 据 中 心 作为 专门 的 [T 基 础 设施 而 存在 ， 用 于 容纳 集中 的 IT 资 
源 ， 如 服务 器 、 数 据 库 、 网 络 和 电信 设备 、 软 件 系 统 等 。 


数据 中 心 逻辑 拓扑 结构 示意 图 ， 如 图 2.8 所 示 。 
| 数据 中 心 
虚拟 服务 器 主机 虚拟 化 IT 资 源 池 


SINUS 


物理 服务 器 物理 存储 器 


图 2-8 ”数据 中 心 逻辑 拓扑 结构 示意 图 
1. 虚 拟 化 


数据 中 心包 括 物理 层 和 虚拟 化 层 的 IT 资 源 。 物 理 层 的 IT 资 源 指 的 是 基础 设施 ， 包 含 计算 机 硬件 、 网 络 系统 、 机 房 设备 及 其 操 


作 系 统 。 虚 拟 化 层 的 资源 抽象 和 控制 由 基于 虚拟 化 平台 的 操作 和 管理 工具 组 成 ， 虚 拟 化 平台 将 物理 计算 和 IT 资源 的 网 络 抽象 化 为 
易于 分 配 、 操 作 、 发 布 、 监 控 和 控制 的 虚拟 化 组 件 。 


2. 标 准 化 和 模块 化 


数据 中 心 建 立 在 标准 化 的 硬件 之 上 ， 采 用 模块 化 架构 设计 ， 集 成 了 多 个 相同 的 基础 设施 和 设备 构建 模块 ， 以 支持 可 扩展 性 ， 
扩大 规模 和 快速 更 换 硬件 。 模 块 化 和 标准 化 是 降低 投资 和 运营 成 本 的 关键 要 求 ， 因 为 它们 可 以 实现 规模 化 采购 、 部 署 、 运 营 、 维 
护 等 云 计算 流程 ， 实 现 规 模 经 济 。 


简单 的 虚拟 化 策略 和 不 断 提高 物理 设备 的 能 力 及 性 能 都 有 利于 IT 资源 整合 ， 因 为 需要 更 少 的 物理 组 件 来 支持 复杂 的 配置 。 整 
合 IT 资源 服务 于 不 同 的 系统 ， 并 支持 在 不 同 的 云 用 户 之 间 共 享 。 


3. 自 动 化 


数据 中 心 拥有 专门 的 平台 ， 可 自动 完成 功能 配置 、 补 丁 修复 、 运 营 监 控 等 任务 。 数 据 中 心 管理 平台 和 工具 利用 自主 计算 技术 
实现 自我 配置 和 自我 恢复 。 


4. 远 程 操作 与 管理 


数据 中 心 IT 资源 的 大 部 分 操作 和 管理 任务 都 是 通过 网 络 的 远程 控制 台 和 管理 系统 来 完成 的 。 技 术 人 员 不 需要 访问 专用 服务 
器 ， 除 非 执行 非常 具体 的 任务 ， 如 设备 处 理 和 布线 ， 或 硬件 级 安装 和 维护 。 


5. 高 可 用 性 


任何 形式 的 数据 中 心中 断 运 行 ， 都 会 严重 影响 使 用 其 服务 的 组 织 的 业务 连续 性 ， 因 此 数据 中 心 的 设计 是 以 越 来 越 高 的 匈 余 级 
别 来 保证 可 用 性 。 数 据 中 心 通常 具有 以 下 特点 。 


“ 完 余 的 不 间断 电源 ; 

- 预防 系统 故障 能 力 ; 

“ 通信 链 路 和 集群 硬件 负载 能 力 。 
6. 安 全 意识 的 设计 、 操 作 和 管理 


由 于 数据 中 心 是 存储 和 处 理 业务 数据 的 集中 式 结构 ， 因 此 对 数据 中 心 的 安全 性 要 求 (如 物理 控制 、 逻 辑 访问 、 数 据 恢 复 策 
略 ) 极 高 。 


建立 和 运行 部 署 的 数据 中 心 投入 巨大 ， 基 于 IT 资源 的 外 包 数 据 中 心 已 经 成 为 一 种 常见 的 方法 。 然 而 ， 外 包 模 式 通常 需要 长 期 
的 消费 者 承诺 ， 通 常 无 法 提供 弹性 服务 ， 典 型 的 云 计算 可 以 通过 固有 功能 (如 随机 访问 、 按 需 配 置 、 快 速 弹性 和 按 需 付费 ) 来 解 


决 这 些 问 题 。 
7 数据 中 心 设施 


数据 中 心 在 专门 设计 的 地 点 ， 配 备 有 专门 的 计算 、 存 储 和 网 络 设备 ， 有 几 个 功能 布局 区 ， 以 及 各 种 电源 、 电 缆 和 环境 控制 
站 ， 它 们 调节 供暖 、 通 风 、 空 调 、 消 防 和 其 他 相关 子 系统 。 数 据 中 心 的 不 同 布局 空间 之 间 通 常 是 隔离 的 。 


8. 计 算 机 硬件 


数据 中 心 的 大 量 处 理 通 常 由 具有 强大 计算 能 力 和 存储 容量 的 标准 化 服务 器 执行 。 这 些 模 块 化 服务 器 集成 了 几 种 计算 硬件 技 
术 ， 例 如 : 


标准 机 柜 ， 由 标准 化 机 架 组 成 ， 具 有 电源 、 网 络 和 内 部 冷却 功能 。 


. 支持 不 同 的 硬件 处 理 架 构 ， 如 x86-32bits、x86-64 和 RISC。 


* 多核 CPU 架 构 ， 在 多 个 标准 化 机 架 相 同 的 空间 内 容纳 数 百 个 处 理 核 心 。 


: 完 余 和 热 插 拔 组 件 ， 如 硬盘 、 电 源 、 网 络 接口 和 存储 控制 器 卡 。 


数据 中 心计 算 架 构 ， 可 采用 刀片 服务 器 技术 ， 使 用 机 架 嵌 入 式 物 理 互 连 (刀片 机 箱 ) 。 数 据 中 心 设备 间 的 互 连 提高 了 组 件 间 
的 管理 效率 ， 优 化 了 物理 空间 和 功率 。 这 些 系 统 通常 支持 单个 服务 器 执 揪 拔 、 蔡 换 和 维护 ， 有 利于 部 署 基于 计算 机 集群 的 容错 系 
统 。 


现代 计算 硬件 平台 通常 支持 行业 标准 和 专 有 的 操作 及 管理 软件 系统 ， 它 们 从 远程 管理 控制 台 配 置 ， 监 视 和 控制 硬件 !T 资 源 。 
有 了 适当 的 管理 控制 人 台 ， 单 个 操作 员 就 可 以 监督 数 百 到 数 干 个 物理 、 虚 拟 服务 器 。 


9. 存 储 硬件 


数据 中 心 有 专 门 的 存储 系统 ， 可 以 保存 大 量 的 数字 信息 ， 以 满足 海量 存储 需求 。 这 些 存储 系统 是 容纳 许多 硬盘 的 容器 ， 这 些 
硬盘 被 组 织 成 阵列 。 


存储 系统 通常 涉及 以 下 技术 。 


. 硬盘 阵列 : 这 些 阵列 固有 地 在 多 个 物理 驱动 器 之 间 划 分 和 复制 数据 ， 并 通过 包含 备用 磁盘 来 提高 性 能 和 宛 余 度 。 这 种 技术 
通常 使 用 独立 磁盘 (RAID) 方案 的 宛 余 阵列 实现 ， 通 过 磁盘 阵列 控制 器 硬件 来 实现 。 


. I/O 缓 存 : 通常 通过 硬盘 阵列 控制 器 执行 ， 通 过 数据 缓存 米 改 善 磁盘 访问 时 间 ， 增 强 性 能 。 


* 热 插 拔 硬盘 : 可 以 安全 地 从 阵列 中 移 除 ， 无 须 事 先 关 闭 电 源 。 


* 存储 虚拟 化 : 通过 使 用 虚拟 化 硬盘 和 存储 共享 来 实现 。 


快速 数据 复制 机 制 : 包括 快照 技术 、 及 卷 克隆 技术 〈 即 复制 虚拟 或 物理 硬盘 卷 和 分 区 ) 以 及 将 虚拟 机 的 内 存 保存 到 管理 程 
序 的 可 读 文件 中 ， 以 供 将 来 重新 加 载 的 技术 。 


网 络 存 储 设 备 通常 分 为 以 下 两 类 。 


* 存储 区 域 网 络 (SAN) : 物理 数据 存储 介质 通过 专用 网 络 连接 ， 并 使 用 行业 标准 协议 〈 如 小 计算 机 系统 接口 (SCSI) ) 提 
供 块 级 数据 存储 访问 。 


“ 网 络 附加 存储 (NAS) : 硬盘 阵列 由 专用 设备 控制 和 管理 ， 该 设备 通过 网 络 连 接 ， 并 使 用 以 文件 为 中 心 的 数据 访问 协议 
(如 网 络 文件 系统 (NFS) 或 服务 器 消息 块 (SMB) ) 来 方便 地 访问 数据 。 


NAS、SAN 和 其 他 更 先进 的 存储 系统 ， 通 过 控制 存储 元 余 、 冷 却 匈 余 和 使 用 RAID 存 储 技术 的 硬盘 阵列 ， 在 许多 组 件 中 提供 


容错 功能 。 
10. 网 络 硬件 


数据 中 心 需要 不 同 的 网 络 硬件 ， 以 便 实现 多 个 级 别 的 连接 。 数 据 中 心 网 络 一 般 分 成 5 个 网 络 子 系统 ， 用 标准 的 网 络 设备 实 
现 。 


1) 外 部 网 络 互 联 子 系统 


外 部 WAN 和 数据 中 心 的 LAN 之 间 的 连接 ， 通 常 由 网 络 安 全 设备 (如 防火 墙 和 和 VPN 网关) 、 骨 干 路 由 器 组 成 。 


2) 网 络 层 负载 平衡 子 系统 
网 络 层 负载 平衡 子 系统 包括 Web 加 速 设备 、XML 预 处 理 器 ， 加 密 / 解 密 设 备 ， 以 及 完成 内 容 感知 的 路 由 交换 设备 。 
3) 局 域 网 的 交换 机 子 系统 


交换 机 为 所 有 数据 中 心 提 供 网 络 支 持 ， 为 IT 资源 提供 高 性 能 的 元 余 连 接 。 它 往往 是 多 个 网 络 交换 机 ， 以 高 达 10G、40G 比 特 
每 秒 的 速度 运转 。 这 些 先进 的 网 络 交 换 机 也 可 以 执行 一 些 虚 拟 化 功能 ， 如 局 域 网 隔离 YLAN 之 间 的 路 由 、 链 路 聚合 控制 网 络 、 负 
载 平衡 和 故障 转移 。 


4) SAN 网 络 交换 机 子 系统 


存储 区 域 网 络 (SAN) 中 提供 服务 器 和 存储 系统 之 间 的 连接 ，SAN 交 换 机 通常 采用 光纤 通道 (FC) ， 实 现 光纤 通道 以 太 网 
(FCoE) 和 InfiniBand 网 络 交换 。 


5) NAS 网 关子 系统 
NAS 网 关子 系统 为 基于 NAS 的 存储 设备 提供 连接 点 ， 并 实现 协议 转换 硬件 ,方便 SAN 和 NAS 设 备 之 间 的 数据 传输 。 


数据 中 心 网 络 技术 通过 使 用 元 余 或 容错 配置 ， 实 现 了 可 伸缩 性 和 高 可 用 性 的 操作 要 求 。 以 上 5 个 网 络 子 系统 提升 了 数据 中 心 
的 元 余 性 和 可 靠 性 ， 确 保 在 多 个 故障 时 也 能 保持 一 定 的 服务 水 平 。 


超 高 速 网 络 光 链 路 可 使 用 波 分 复 用 (DWDM) 技术 将 单个 干 兆 位 / 秒 的 信道 聚合 成 单个 光纤 ， 可 扩展 到 多 个 位 置 ， 用 于 互联 
服务 场合 、 存 储 系 统 和 复制 数据 中 心 。 


IT 硬件 技术 发 展 迅速 ， 生 命 周期 通常 在 5 ~ 7 年 之 间 。 如 持续 更 换 设备 ， 会 导致 硬件 的 混乱 ， 其 异 构 性 可 能 使 整个 数据 中 心 的 
操作 和 管理 复杂 化 。 考 虑 数据 中 心 的 作用 和 大 量 数 据 包含 在 其 中 ， 因 此 硬件 安全 性 是 另 一 个 重大 问题 。 


2.3.4 ”虚拟 化 技术 


虚拟 化 是 将 物理 IT 资 源 转换 为 虚拟 IT 资 源 的 过 程 。 
大 多 数 类 型 的 [T 资 源 都 可 以 虚拟 化 ， 包 括 
“ 服务 器 : 可 将 物理 服务 器 抽象 为 虚拟 服务 器 。 
“ 存储 : 物理 存储 设备 可 以 抽象 为 虚拟 存储 设备 或 虚拟 磁盘 。 
“ 网 络 : 物理 路 由 器 和 交换 机 可 以 抽象 为 逻辑 网 络 结构 ， 如 VLAN。 
电源: 物理 UPS 和 配 电 单元 通常 称 为 虚拟 UPS 。 
本 节 重 点 介绍 通过 服务 器 虚拟 化 技术 创建 和 部 署 虚拟 服务 器 。 
注 : 虚拟 服务 器 和 虚拟 机 (VM) 是 在 本 书 中 使 用 的 同义词 。 


通过 虚拟 化 软件 创建 新 的 虚拟 服务 器 的 第 一 步 是 分 配 物 理 |T 资 源 ， 然 后 安装 操作 系统 。 虚 拟 服务 器 使 用 自己 的 客户 机 操作 系 
统 ， 独 立 于 创建 它们 的 操作 系统 。 


客户 操作 系统 和 虚拟 服务 器 上 运行 的 应 用 软件 都 不 了 解 虚拟 化 过 程 ， 这 意味 着 这 些 虚 拟 化 IT 资 源 将 像 在 单独 的 物理 服务 器 上 
运行 、 安 装 和 执行 一 样 。 这 种 执行 的 一 致 性 ， 使 得 程序 能 够 在 虚拟 系统 上 运行 ， 就 像 在 物理 系统 上 运行 一 样 ， 这 是 至 关 重 要 的 虚 
拟 化 的 特点 。 客 户 操作 系统 通常 需要 无 颖 地 使 用 软件 产品 和 应 用 程序 ， 这 些 软件 产品 和 应 用 程序 不 需要 定制 、 配 置 或 打 补 本 即 可 
在 虚拟 化 环境 中 运行 。 


虚拟 化 软件 在 物理 服务 器 上 运行 ， 称 为 主机 或 物理 主机 ， 其 底层 硬件 由 虚拟 化 软件 访问 。 虚 拟 化 软件 的 功能 包括 与 虚拟 机 管 
理 相关 的 系统 服务 ， 这 些 功 能 在 标准 操作 系统 上 找 不 到 。 这 就 是 为 什么 把 这 个 软件 称 为 虚拟 机 管理 器 或 虚拟 机 监控 器 (VMM) 
的 原因 ， 但 一 般 被 称 为 虚拟 机 管理 程序 。 

1. 硬 件 独立 性 


操作 系统 的 配置 和 应 用 软件 在 独特 的 IT 硬 件 平台 中 的 安装 ， 导 致 许多 软件 对 硬件 产生 依赖 。 在 非 虚拟 化 环境 中 ， 为 特定 硬件 
模型 配置 操作 系统 ， 如 果 需 要 修改 这 些 IT 资 源 ， 则 需要 重新 配置 。 


虚拟 化 是 将 独特 的 IT 硬 件 转换 为 模拟 和 标准 化 的 基于 软件 副本 的 转换 过 程 。 通 过 硬件 独立 性 ， 虚 拟 服 务 器 可 以 轻松 移动 到 另 
一 个 虚拟 化 主机 上 ， 自 动 解决 硬件 、 软 件 不 兼容 性 问题 。 因 此 ， 复 制 和 操纵 虚拟 [资源 ， 比 复制 物理 硬件 要 容易 得 多 。 


2. 服 务 器 整合 


虚拟 化 软件 提供 的 协调 功能 允许 在 同一 虚拟 化 主机 中 同时 创建 多 个 虚拟 服务 器 。 虚 拟 化 技术 使 不 同 的 虚拟 服务 器 能 够 共享 一 
个 物理 服务 器 。 此 过 程 称 为 服务 器 整合 ， 通 常用 于 增加 硬件 利用 率 ， 负 载 平衡 和 优化 可 用 IT 资源 。 由 此 产生 的 灵活 性 使 得 不 同 的 
虚拟 服务 器 可 以 在 同一 主机 上 运行 不 同 客户 的 操作 系统 。 


这 种 基本 功能 直接 支持 常见 的 云 功 能 ， 如 按 需 使 用 、 资 源 池 、 可 扩展 性 和 弹性 。 

3 .资源 复制 

通过 快速 扩展 虚拟 机 ， 实 现 新 云 服务 的 迁移 和 部 署 ， 提 高 了 敏捷 性 。 

* 回 滚 能 力 ， 将 虚拟 服务 器 内 存 和 硬盘 映像 的 状态 ,瞬间 创 建 VM 快 照 ， 保 存 到 基于 主机 的 文件 上 (操作 人 员 可 以 很 容易 地 
恢复 到 这 些 快照 状态 ， 并 将 虚拟 机 恢复 到 其 先前 状态 ) 。 

. 支持 业务 连续 性 ， 提 供 高 效 的 备份 和 恢复 程序 。 

虚拟 服务 器 被 创建 为 包含 硬盘 内 容 的 二 进 制 文件 副本 的 虚拟 磁盘 映像 。 主 机 操作 系统 可 以 访问 这 些 虚 拟 磁 盘 映 像 ， 这 意味 着 
可 以 使 用 复制 、 移 动 、 粘 贴 等 简单 文件 操作 来 复制 、 迁 移 、 备 份 虚拟 服务 器 。 这 种 易于 操作 和 复制 的 特点 是 虚拟 化 技术 最 突出 的 
特性 之 一 ， 因 为 它 能 够 实现 : 


` 创建 标准 化 虚拟 机 映像 ， 通 常 配 置 为 包括 虚拟 硬件 功能 、 客 户 操作 系统 和 其 他 应 用 软件 ， 以 便 在 虚拟 磁 瘟 映像 中 进行 打 
包 ， 以 支持 即时 部 署 。 


:快速 纵向 、 横 向 扩展 ， 提 高 了 唐 拟 机 新 实例 迁移 和 部 署 的 敏捷 性 。 
4. 基 于 操作 系统 的 虚拟 化 


基于 操作 系统 的 虚拟 化 是 将 虚拟 化 软件 安装 在 一 个 预先 存在 的 操作 系统 中 ， 这 个 操作 系统 被 称 为 主机 操作 系统 ， 如 图 2.9 所 
示 。 例 如 ， 某 工作 站 安装 有 特定 版 本 的 Windows 用 户 希 望 生成 虚拟 服务 器 ， 并 将 虚拟 化 软件 安装 到 主机 操作 系统 中 ， 就 像 其 他 
程序 一 样 。 


该 用 户 需要 使 用 虚拟 化 软件 生成 和 操作 一 个 或 多 个 虚拟 服务 器 ， 需 要 使 用 虚拟 化 软件 才能 直接 访问 生成 的 任意 虚拟 服务 器 。 
由 于 主机 操作 系统 可 以 为 硬件 设备 提供 必要 的 支持 ， 即 使 硬件 驱动 程序 不 能 用 于 虚拟 化 软件 ， 操 作 系统 虚拟 化 也 可 以 纠正 硬件 兼 


容 性 问题 。 


虚拟 机 虚拟 机 虚拟 机 
(客户 操作 系统 国 \ 客 户 操 作 系 统 国 (客户 操作 系统 
和 应 用 软件 ) 量 和 应 用 软件 ) 国 和 应 用 软件 ) 


图 2-9 ”基于 操作 系统 的 虚拟 化 


通过 虚拟 化 实现 的 硬件 独立 性 可 以 更 加 灵活 地 使 用 硬件 |T 资 源 。 


虚拟 化 软件 将 硬件 |T 资 源 转化 为 与 一 系列 操作 系统 兼容 的 虚拟 化 IT 资源 。 由 于 主机 操作 系统 本 身 是 完整 的 操作 系统 ， 因 此 可 
以 使 用 许多 基于 操作 系统 的 服务 作为 管理 工具 来 管理 物理 主机 。 


此 类 服务 的 示例 包括 : 
- 备份 和 恢复 ; 
- 集成 到 目录 服务 ; 
“ 安全 管理 。 
基于 操作 系统 的 虚拟 化 可 以 引入 与 性 能 开销 相关 的 需求 和 问题 ， 例 如 : 
“ 主机 操作 系统 消耗 CPU、 内 存 和 其 他 硬件 IT 资源 。 
:来自 客 户 机 操作 系统 的 与 硬件 相关 的 调用 需要 遍历 硬件 各 个 层 ， 这 会 降低 整体 性 能 。 


: 除了 每 个 客户 操作 系统 的 单独 许可 证 外 ， 通 常 还 需要 对 主机 操作 系统 颁发 许可 证 。 


操作 系统 虚拟 化 的 另 一 个 问题 ， 是 运行 虚拟 化 软件 和 主机 操作 系统 所 需 的 处 理 开 销 。 实 现 虚 拟 化 将 对 整体 系统 性 能 产生 负面 
影响 ， 检 测 、 监 控 、 管 理 所 产 生 的 影响 是 具有 挑战 性 的 ， 因 为 它 需要 系统 工作 负载 、 软 件 和 硬件 环境 及 复杂 的 监控 工具 方面 的 专 
业 知 识 。 


5. 基 于 硬件 的 虚拟 化 


基于 硬件 的 虚拟 化 方式 表示 虚拟 化 软件 直接 在 物理 主机 硬件 上 的 安装 ， 以 便 绕 过 主机 操作 系统 ， 如 图 2.10 所 示 。 人 允许 虚拟 服 
务 器 与 硬件 交互 而 不 需要 主机 操作 系统 的 中 介 操 作 ， 通 常 使 基于 硬件 的 虚拟 化 更 加 高 效 。 


虚拟 机 虚拟 机 虚拟 机 
(客户 操作 系统 国 〈 客 户 操作 系统 国 〈 客 户 操作 系统 
和 应 用 软件 ) 和 应 用 软件 ) 和 应 用 软件 ) 


( 人 硬件 ”虚拟 化 主机 


图 2-10 基于 硬件 的 虚拟 化 


虚拟 化 软件 也 称 为 虚拟 硬件 的 管理 程序 。 管 理 程序 具有 简单 的 用 户 界 面 ， 只 需要 少量 的 存储 空间 。 它 作为 处 理 硬件 管理 功能 
的 中 间 层 软件 来 建立 虚拟 化 管理 层 。 尽 管 许多 标准 操作 系统 功能 尚未 实现 ， 但 设备 驱动 程序 和 系统 服务 都 针对 虚拟 服务 器 的 配置 
进行 了 优化 。 这 种 类 型 的 虚拟 化 系统 基本 上 用 于 优化 性 能 开销 ， 使 多 个 虚拟 服务 器 能 够 与 同一 个 硬件 平台 进行 交互 。 


基于 硬件 的 虚拟 化 的 主要 问题 之 一 涉及 硬件 设备 的 兼容 性 。 虚 拟 化 层 被 设计 为 直接 与 主机 硬件 通信 ， 这 意味 着 所 有 相关 的 设 
备 驱动 程序 和 支持 软件 都 需要 与 虚拟 机 管理 程序 兼容 。 但 硬件 设备 驱动 程序 不 像 管理 程序 平台 那样 适用 于 操作 系统 ， 其 主机 管理 
功能 还 不 具备 操作 系统 常见 的 高 级 功能 。 


6 .虚拟 化 管理 


使 用 虚拟 服务 器 可 以 更 容易 地 执行 许多 管理 任务 。 现 代 虚 拟 化 软件 提供 了 几 个 高 级 管理 功能 ， 可 以 自动 执行 管理 任务 ， 并 降 
低 虚 拟 化 上 资源 的 整体 运营 负担 。 


虚拟 化 IT 资源 管理 通常 由 VIM 工具 支持 ，VIM 工 具 可 共同 管理 虚拟 资源， 并 依赖 于 在 专用 计算 机 上 运行 的 集中 式 管理 模块 
(也 称 为 控制 器 ) 。 


7.IT 设 备 虚 拟 化 的 负面 问题 


: 性 能 开销 : 虚拟 化 对 于 具有 高 工作 负载 且 对 资源 共享 和 复制 无 需求 的 复杂 系统 可 能 并 不 理想 。 一 个 糟糕 的 虚拟 化 计划 可 能 
会 导致 过 多 的 性 能 开销 。 用 于 纠正 开销 问题 的 常见 策略 是 一 种 称 为 半 虚 拟 化 的 技术 ， 它 向 与 底层 硬件 不 相同 的 虚拟 机 提供 一 个 软 


件 接口 。 设 备 应 拟 化 过 程 中 软件 接口 发 生 了 改变 ， 以 减少 客户 操作 系统 的 处 理 开销 。 这 种 方法 的 主要 缺点 是 需要 将 客户 操作 系统 
修改 为 虚拟 化 API， 它 会 削弱 标准 客户 操作 系统 的 使 用 ， 同 时 降低 解决 方案 的 可 移植 性 。 


. 硬件 兼容 性 : 许多 硬件 的 供应 商 可 能 没有 与 虚拟 化 软件 兼容 的 设备 驱动 程序 版 本 ， 或 者 软件 本 身 可 能 与 最 近 发 布 的 硬件 不 
兼容 。 这 些 类 型 的 不 兼容 性 问题 可 以 使 用 已 建立 的 硬件 平台 和 成 熟 的 虚拟 化 软件 产品 来 解决 。 


` 可 移植 性 : 为 虚拟 化 程序 建立 管理 环境 的 编程 、 管 理 界面 ， 可 以 通过 各 种 虚拟 化 解决 方案 进行 操作 ， 各 种 虚拟 化 方案 会 导 
致 由 于 各 程序 不 兼容 而 产生 可 移植 性 较 差 。 利 用 标准 化 虚拟 磁盘 映像 格式 、 开 放 式 虚拟 化 格式 (OVF) 等 方式 可 减轻 这 一 负面 
影响 。 


2.3.5” Web 技术 

由 于 云 计 算 对 网 络 互联 的 基本 依赖 ， 以 及 Web 浏 览 器 的 普遍 性 和 基于 Web 服 务 开发 的 便利 性 ，Web 技 术 通 常 被 用 于 云 服务 
的 实施 介质 和 管理 界面 。 

本 节 介 绍 主要 Web 技 术 概 念 ， 并 讨论 其 与 云 服 务 的 关系 。 

1. 万 维 网 


WWW 是 环球 信息 网 的 缩写 ， ( 亦 写 作 Web、WWW， 英 文 全 称 为 World Wide Web) ， 中 文 名字 为 “万 维 网 ” “环球 
网 ”等 ， 通 常 简称 为 Web。 万 维 网 并 不 等 同 于 互联 网 ， 万 维 网 只 是 互联 网 所 能 提供 的 服务 之 一 ， 是 靠 着 互联 网 运行 的 一 项 服 


2.1T 资 源 


通过 万 维 网 访问 的 工具 包 称 为 IT 资源 ， 或 称 为 Web 资 源 。 在 云 计算 的 上 下 文中 ，1T 资 源 可 以 是 基于 软件 或 硬件 的 、 物 理 或 虚 
拟 的 、 与 IT 相关 的 工具 包 。 然 而 ，Web 上 的 资源 可 以 代表 通过 万 维 网 访问 的 各 种 各 样 的 文件 。 例 如 ， 通 过 Web 浏 览 器 访问 的 JPG 
图 像 文件 被 认为 是 IT 资源 。 


3.Web 组 件 


万 维 网 是 一 个 互联 的 上 T 资 源 系统 ， 通 过 因特网 访问 。Web 浏 览 器 的 两 个 基本 组 件 是 Web 客 户 机 和 Web 服 务 器 ， 其 他 组 件 ， 
如 代理 缓存 服务 、 网 天 和 负载 均衡 ， 用 以 提高 Web 应 用 程序 的 可 扩展 性 和 安全 性 。 这 些 附 加 组 件 驻 留 在 客户 机 和 服务 器 之 间 的 
分 层 体系 结构 中 。 


4.Web 技 术 三 要 素 
统一 资源 定位 符 (URL) : 用 于 创建 指向 Web 资 源 标识 符 的 标准 语法 ，URL 通 常 使 用 逻辑 网 络 位 置 构造 。 
“ 超 文本 传输 协议 (HTTP) : 是 用 于 在 万 维 网 中 交换 内 容 和 数据 的 主要 通信 协议 。URL 通 常 通过 HTTP 传 输 。 


“ 标记 语言 : 提供 了 一 种 轻 量 级 的 表达 Web 中 心 数据 和 元 数据 的 方法 。 其 两 种 主要 的 标记 语言 是 HIML (用 于 表示 Web 页 面 


的 表示 ) 和 XML。 


例如 ，Web 浏 览 器 可 以 请 求 在 Internet 上 执行 Web 资 源 上 的 读 、 写 、 更 新 或 删除 等 操作 ， 并 通过 URL 来 识别 和 定位 Web 资 
源 。 请 求 通过 HTTP 发 送 到 资源 主机 ， 该 主机 也 由 URL 标 识 。Web 服 务 器 定位 Web 资 源 并 执行 所 请 求 的 操作 ， 随 后 将 响应 返回 到 


客户 机 。 响 应 可 以 由 包含 HTML 和 XML 语句 的 内 容 组 成 。 


Web 资 源 被 表示 为 超 媒 体 而 不 是 超 文 本 ， 意 味 着 如 图 形 、 音 频 、 视 频 、 纯 文本 和 URL 的 媒体 ， 可 以 在 单个 文档 中 集体 引 
用 。 


5.Web 应 用 程序 


使 用 基于 Web 技 术 (通常 依赖 于 Web 浏 览 器 来 呈现 用 户 界面 ) 的 分 布 式 应 用 程序 通常 被 认为 是 Web 应 用 程序 。 这 些 应 用 程 
序 可 以 在 各 种 基于 云 的 环境 中 找到 ， 因 为 它们 的 可 访问 性 很 高 。 


如 图 2.11 所 示 为 基于 三 层 模型 的 Web 应 用 程序 的 通用 架构 示意 图 。 第 一 层 称 为 表示 层 ， 表 示 用 户 界 面 。 中 间 层 是 应 用 层 ， 
最 后 一 层 是 由 数据 存储 组 成 的 数据 层 。 


客户 病 边 


服务 右边 


图 2-11 Web 应 用 程序 的 通用 架构 示意 图 


表示 层 在 客户 端 和 服务 器 端 都 有 组 件 。Web 服 务 器 接收 客户 端 请 求 ， 直 接 将 请 求 的 资源 作为 静态 Web 内 容 检索 ， 并 间接 作 
为 动态 Web 内 容 ， 根 据 应 用 程序 逻辑 生成 。Web 服 务 器 与 应 用 程序 服务 器 进行 交互 ， 以 便 执行 所 请 求 的 应 用 程序 逻辑 ， 后 者 通 
常 涉及 与 一 个 或 多 个 底层 数据 库 的 交互 。 


Paas 现 成 的 环境 使 云 终端 用 户 能 够 开发 和 部 署 Web 应 用 程序 。 典 型 的 PaaS 产 品 具有 Web 服 务 器 、 应 用 程序 服务 器 和 数据 存 
储 服务 器 环境 的 单独 实例 。 


2.3.6 ”多 租户 技术 


创建 多 租户 应 用 程序 是 为 了 使 多 个 用 户 (租户 ) 能 够 同时 访问 相同 的 应 用 程序 。 每 个 租户 都 有 自己 的 应 用 程序 视图 ， 同 时 其 
他 租户 也 在 使 用 相同 的 应 用 程序 。 


多 租户 应 用 程序 确保 租户 无 法 访问 不 属于 自己 的 数据 和 配置 信息 。 租 户 可 以 单独 定制 应 用 程序 的 功能 ， 例 如 
- 用 户 界 面 : 租户 可 以 为 其 应 用 界面 定义 专门 的 UI。 
“ 业务 流程 : 租户 可 以 自 定义 应 用 程序 中 实现 的 业务 流程 的 规则 、 逻 辑 和 工作 流程 。 


数据 模型 : 租户 可 以 扩展 应 用 程序 的 数据 模式 ， 以 包含 、 排 除 、 重 命名 应 用 程序 中 数据 结构 的 字段 。 


: 访问 控制 : 租户 可 以 独立 控制 用 户 和 组 的 访问 权限 。 


多 租户 应 用 程序 架构 通常 比 单 租户 应 用 程序 复杂 。 多 租户 应 用 程序 需要 支持 多 个 用 户 (包括 门户 、 数 据 模式 、 中 间 件 和 数据 
库 ) 共享 各 种 工具 包 ， 同 时 隔离 各 个 租户 操作 环境 ， 保 持 多 租户 的 安全 级 别 。 


1. 多 租户 应 用 的 特征 
多 租户 应 用 的 共同 特征 包括 以 下 几 点 。 
* 用 法 隔离 : 一 个 租户 的 使 用 行为 不 影响 其 他 租户 的 应 用 程序 可 用 性 和 性 能 。 


" 数据 安全 : 租户 无 法 访问 属于 其 他 租户 的 数据 。 


. 恢复 : 每 个 租户 的 数据 分 别 执行 备份 和 恢复 过 程 。 

* 应 用 程序 升级 : 租户 不 会 受到 共享 软件 构件 的 同步 升级 的 负面 影响 。 

* 可 扩展 性 : 应 用 程序 可 以 扩展 ， 以 适应 现 有 租户 的 使 用 增加 和 (或 ) 增加 租户 数量 。 

* 计量 使 用 : 租户 仅 为 实际 消费 的 应 用 程序 处 理 和 服务 功能 付费 。 

. 数据 层 隔离 可 以 与 其 他 租户 间 分 出 单独 的 数据 库 。 也 可 以 将 数据 库 、 表 格 的 模式 设计 为 由 租户 有 意 共享 。 


一 个 多 租户 应 用 程序 ， 同 时 通过 两 种 不 同 的 租户 使 用 ， 这 种 类 型 的 应 用 程序 是 典型 的 SaaS 实 现 ， 如 图 2.12 所 示 。 


多 租户 应 用 虚拟 主机 
虚拟 服务 


图 2-12 多 租户 服务 模式 


2. 多 租户 与 虚拟 化 


多 租户 有 时 被 误 认 为 是 虚拟 化 ， 因 为 多 租户 的 概念 与 虚拟 化 实例 的 概念 相似 。 二 者 的 不 同 之 处 在 于 作为 主机 的 物理 服务 器 原 
型 不 同 


` 虚拟 化 : 服务 器 环境 的 多 个 虚拟 副本 可 由 单个 物理 服务 器 托管 。 每 个 副本 可 以 提供 给 不 同 的 用 户 ， 可 以 独立 配置 ， 并 且 可 
以 包含 自己 的 操作 系统 和 应 用 程序 。 


* 多 租户 : 托管 应 用 程序 的 物理 或 虚拟 服务 器 设计 为 允许 多 个 不 同 用 户 使 用 ， 每 个 用 户 都 觉得 它们 具有 专用 的 应 用 程序 。 


2.4 ” 云 计算 技术 与 云 服务 模式 
NIST (National Institute of Standards and Technology， 美 国 国家 标准 与 技术 研究 院 ) 把 云 计算 系统 的 部 署 方式 分 为 公 
有 云 和 私有 云 两 种 。 


在 更 多 场合 ， 由 于 混合 云 是 一 种 私有 云 与 公有 云 的 混合 结构 ， 而 社区 云 是 混合 云 是 介 于 公有 云 和 私有 云 之 间 的 结构 ， 因 此 核 
心 的 部 署 模式 是 两 种 ， 即 私有 云 和 公有 云 ， 如 图 2.13 所 示 。 其 中 : 


we \ PRIVATE 私 有 云 


按 需 取 用 网 络 接 入 位 置 透明 迅速 基于 消费 
目 助 服务 无 所 不 在 的 资源 池 弹性 计 费 模型 


图 2-13 云 计 算 一 云 服 务 的 概念 


私有 云 (Private Cloud) ， 云 基础 设施 被 某 单一 组 织 拥 有 或 租用 ， 可 以 部 署 在 本 地 (on Premise) 或 (防火 墙 外 的 ) 异 
地 ， 该 基础 设施 只 为 该 组 织 服务 。 


社区 云 (Community Cloud) ， 或 称 机 构 云 ， 云 基础 设施 被 一 些 组 织 共 享 ， 并 为 一 个 有 共同 关注 点 的 社区 或 大 机 构 服务 
(例如 任务 、 安 全 要 求 、 政 策 和 准则 等 ) 。 社 区 云 可 以 被 该 社区 拥有 和 租用 ， 也 可 以 部 署 在 本 地 、 (防火 墙 外 的 ) 异地 或 多 地 。 
社区 云 可 能 是 一 组 私有 云 通 过 VPN (Virtual Private Network) 联接 到 一 起 的 VPC (Virtual Private Cloud) ， 是 混合 云 的 一 
种 。 


2.4.1 云 计算 基 本 技术 


NIST 定 义 云 计算 有 3 个 基本 技术 : 


-高速 广域网 ; 

" 有 用 的 、 便 宜 的 计算 服务 ; 

- 高 性 能 社区 资源 虚拟 化 。 

其 中 ， 虚 拟 化 就 是 实现 云 计算 的 一 种 基础 而 核心 的 技术 ， 也 有 需要 经 过 深入 调研 和 艰难 抉择 的 一 个 过 程 。 


虚拟 化 主要 包括 : 服务 器 虚拟 化 、 客 户 端 /桌面 /应 用 程序 虚拟 化 、 网 络 虚 拟 化 、 人 存储 虚拟 化 、 服 务 /应 用 基础 结构 虚拟 化 。 
而 现在 的 桌面 虚拟 化 其 实 包括 了 3 种 虚拟 化 技术 ， 分 别 是 服务 器 虚拟 化 、 桌 面 虚拟 化 和 应 用 虚拟 化 ， 它 们 的 概念 如 下 。 


“ 服务 器 虚拟 化 : 将 服务 器 物理 资源 抽象 成 遇 辑 资源 ， 让 一 台 服 务 器 变 成 几 台 甚至 上 百 台 相互 隔离 的 虚拟 服务 器 ， 或 者 让 几 
台 服 务 器 变 成 一 台 服 务 器 来 用 。 用 户 不 再 受 限 于 物理 上 的 界限 ， 而 是 让 CPU、 内 存 、 磁 盘 、I/O 等 硬件 变 成 可 以 动态 管理 的 “ 资 
源 池 ”， 从 而 提高 资源 的 利用 率 ， 简 化 系统 管理 ， 实 现 服务 器 整合 ， 让 IT 资源 对 业务 的 变化 更 适应 。 


桌面 虚拟 化 : 一 种 基于 服务 器 的 计算 模型 ， 并 且 借 用 了 传统 瘦 客 户 端的 模型 ， 但 是 让 管理 员 与 用 户 能 够 同时 获得 两 种 方式 
的 优点 : 将 所 有 桌面 虚拟 机 在 数据 中 心 进行 托管 并 统一 管理 ; 同时 用 户 能 够 获得 完整 PC 的 使 用 体验 。 


. 应 用 虚拟 化 : 应 用 虚拟 化 将 应 用 程序 与 操作 系统 解 燥 合 ， 为 应 用 程序 提供 了 一 个 虚拟 的 运行 环境 。 在 这 个 环境 中 ， 不 仅 包 
括 应 用 程序 的 可 执行 文件 ， 还 包括 它 所 需要 的 运行 时 环境 。 从 本 质 上 说 ， 应 用 虚拟 化 是 把 应 用 对 低层 的 系统 和 硬件 的 依赖 抽象 出 
来 ， 可 以 解决 版 本 不 兼容 的 问题 。 


2.4.2 云 计算 服务 模式 


云 计 算 有 以 下 3 种 服务 模式 。 

* 云 计算 服务 商 Hadoop 提 供 分 布 式 的 计算 和 存储 ， 提 供 IaaS 服 务 模 式 。 

" Amazon 的 云 计算 EC2，OpenStack 建 立 的 云 计算 平台 ， 提 供 PaaS 服 务 模式 ， 用 户 按 需 创建 和 管理 自己 的 云 服务 项 目 。 
` Google 的 GAE、 新 浪 的 SAE， 用 户 在 上 面 创建 自己 的 应 用 ， 提 供 SaaS 服 务 模式 。 


* 计算 机 能 提供 的 服务 ， 不 外 乎 存储 和 计划 (当然 ,这 里 说 的 计算 包括 处 理 、 控 制 等 动态 的 过 程 ) ， 操 作 系 统 、 网 络 通信 、 
虚拟 化 、 数 据 库 、 文 件 系 统 等 都 是 来 帮助 完成 这 两 种 服务 的 ， 只 是 可 以 提供 的 应 用 形态 、 提 供 的 功能 、 封 装 的 层次 和 面向 的 用 户 
不 同 而 已 。 


VMware Vsphere 这 样 的 套件 能 提供 虚拟 化 的 解决 方案 ， 能 管理 大 规模 的 服务 器 ， 提 供 各 种 迁移 、 备 份 、 容 灾 等 功能 ,可 
以 部 署 一 个 私有 云 。Openstack 这 种 软件 项 目 ， 同 样 能 建立 私有 和 公共 云 。 但 是 二 者 的 抽象 层次 和 对 用 户 的 服务 形态 不 同 ， 正 
如 汇编 语言 和 C 语 言 都 能 写 出 同样 功能 的 程序 ， 只 是 不 同 的 实现 方式 而 已 。 


在 上 面 的 几 种 服务 模式 里 ，Hadoop 主 要 提供 分 布 式 存储 和 计算 ; Openstack 主 要 提供 基础 设施 ， 提 供 类 似 物 理 设 备 的 逻辑 
设备 ， 自 己 具 有 很 高 的 控制 管理 权 ; GAE 提 供应 用 平台 ， 可 以 自己 创建 和 管理 应 用 ; 网 盘 提 供 存储 应 用 ， 对 应 用 环境 类 没有 控制 
权 。 但 是 它们 都 提供 云 计 算 服务 ， 只 是 服务 模式 不 同 。 


云 存 储 是 在 云 计算 概念 上 延伸 和 发 展 出 来 的 一 个 新 的 概念 ， 是 指 通 过 集群 应 用 、 网 格 技术 或 分 布 式 文 件 系 统 等 功能 ， 将 网 络 
中 大 量 各 种 不 同类 型 的 存储 设备 通过 应 用 软件 集合 起 来 协同 工作 ， 共 同 对 外 提供 数据 存储 和 业务 访问 功能 的 一 个 系统 。 


当 云 计算 系统 运算 和 处 理 的 核心 是 大 量 数据 的 存储 和 管理 时 ， 云 计算 系统 中 就 需要 配置 大 量 的 存储 设备 ， 那 么 云 计算 系统 就 
转变 为 一 个 云 人 存储 系统 ， 所 以 云 存 储 是 一 个 以 数据 存储 和 管理 为 核心 的 云 计算 系统 。 


云 安全 (Cloud Security) 是 互联 网 和 云 计 算 融 合 的 最 新 发 展 ， 有 以 下 两 方面 的 含义 。 
1. 云 安全 技术 


云 安全 技术 是 网 络 时 代 信息 安全 的 最 新 体现 ， 它 融合 了 并 行 处理 、 网 格 计算 、 未 知 病毒 行为 判断 等 新 兴 技 术 和 概念 ， 通 过 网 
状 的 大 量 客户 端 对 网 络 中 软件 行为 的 异常 监测 ， 获 取 互 联网 中 木马 、 恶 意 程序 的 最 新 信息 ， 推 送 到 Server 端 进行 自动 分 析 和 处 
理 ， 再 把 病毒 和 木马 的 解决 方案 分 发 到 每 一 个 客户 端 。 


2. 云 计算 安全 


云 计 算 安 全 是 对 信息 安全 和 云 服 务 本 身 的 安全 提出 的 新 要 求 的 解决 方案 和 技术 。 利 用 安全 技术 ， 解 决 云 计算 环境 的 安全 问 
题 ， 提 升 云 体系 自身 的 安全 性 ， 保 障 云 计算 服务 的 可 用 性 、 数 据 机 密 性 、 完 整 性 和 隐私 性 等 ， 保 证 云 计算 健康 、 可 持续 的 发 展 。 


云 计 算 安全 的 关键 技术 主要 分 为 数据 安全 、 应 用 安全 、 虚 拟 化 安全 。 数 据 安全 的 研究 主要 有 数据 传输 安全 、 数 据 隔离 、 数 据 
残留 等 方面 ， 应 用 安全 包括 终端 用 户 安全 、 服 务 安 全 、 基 础 设施 安全 等 ， 虚 拟 化 安全 主要 来 源 于 虚拟 化 软件 的 安全 和 虚拟 化 技术 
的 安全 。 


云 安全 核心 : 对 海量 未 知 恶 意 文件 /网 页 的 实时 处 理 能 力 。 


2.5 ”本 章 小 结 


本 章 给 出 了 云 计算 概念 、 原 理 ， 针 对 云 计 算 的 一 些 技术 进行 了 介绍 ， 为 了 使 读者 更 加 清楚 了 解 去 计算， 本 章 整 体 介绍 了 云 计 
算 的 体系 架构 ， 对 体系 架构 中 的 组 成 部 分 给 出 了 详细 介绍 。 


1. 简 述 云 计 算 的 定义 。 
2. 简 述 云 计算 的 原理 及 云 计 算 使 用 的 IT 技术 。 
3. 社 会 调研 : 云 计 算 相 比 传统 的 IT 架构 ， 带 来 多 少 的 成 本 节约 ? 


4. 思 考 : 云 计 算 模式 未 来 可 能 还 会 有 哪些 变化 ? 


第 3 章 ”PaaSs 云 平台 基础 


正如 马云 所 说 ， 大 数据 时 代 已 经 到 来 ， 未 来 最 大 的 资源 是 数据 。 物 联网 作为 重要 的 数据 来 源 ， 其 发 展 重心 正 逐 渐 从 传统 的 传 
感 器 等 基础 硬件 设备 向 软件 平台 过 渡 。 对 物 联网 企业 来 讲 ， 软 件 平台 的 开发 一 直 是 制约 企业 发 展 的 重要 因素 之 一 。 而 云 平台 的 出 
现 ， 使 得 企业 能 够 实现 应 用 的 快速 开发 和 部 署 ， 并 且 能 够 提高 产品 的 可 靠 性 和 可 用 性 。 因 此 ， 云 平台 成 为 云 计算 时 代 中 新 的 增长 
点 ， 阿 里 、 腾 讯 、 网 易 和 华为 等 大 企业 也 都 纷纷 推出 了 自己 的 云 平台 服务 。 


本 章 首先 介绍 云 平台 的 基本 概念 及 模型 ， 然 后 介绍 Paas 平 台中 的 弹性 计算 平台 和 智能 监控 运 维 平台 ， 最 后 通过 一 个 实例 介 
绍 Paas 给 物 联 网 开发 带 来 的 影响 。 


3.1 云 平 台 的 概念 及 模型 


本 节 首先 介绍 云 平台 的 基本 概念 及 模型 ， 然 后 对 Paas 的 天 键 技术 进行 简单 介绍 ， 最 后 根据 笔者 的 理解 ， 前 述 一 下 未 来 云 平 
台 的 发 展 方向 。 


3.1.1 云 平台 的 概念 


自 2006 年 8 月 9 日 Google 提 出 “ 云 计算 ”概念 以 来 ， 云 计算 一 直 是 IT 领 域 最 热门 的 话题 之 一 。 云 计算 提供 如 图 3.1 所 示 的 3 个 
层次 服务 : 基础 架构 即 服务 (laaS) 、 平 台 即 服务 (PaaS) 、 软 件 即 服务 (SaaS) 。 平 台 即 服务 (PaaS) 是 指 在 云 计算 基础 设 
施 上 为 用 户 提 供 软 件 开 发 、 运 行 和 运营 环境 的 服务 ， 是 把 平台 作为 一 种 服务 提供 给 用 户 的 新 型 商业 模式 .。 


云 平 台 的 出 现 是 必然 的 。 从 商业 角度 来 讲 ， 随 着 互联 网 产业 的 快速 发 展 ， 产 品 需求 不 断 变化 ， 对 应 用 程序 的 快速 开发 、 管 理 
的 简化 和 自动 化 ， 以 及 对 应 用 程序 的 可 靠 性 和 可 用 性 都 提出 了 更 高 的 要 求 。 


从 技术 角度 来 讲 ， 随 着 基础 设施 的 建设 ， 以 及 虚拟 化 技术 和 容器 技术 的 广泛 应 用 ， 使 得 集中 式 、 统 一 的 应 用 平台 出 现成 为 可 
能 。 另 外 ， 总 结实 践 中 的 共性 问题 ， 抽 象 出 特定 的 元 素 模 型 ， 为 云 平台 的 研发 商定 了 基础 。 


图 3-1 云 计算 3 层 结 构 ( 软 件 即 服务 、 平 台 即 服务 、 基 础 架构 即 服务 ) 


云 平台 解决 了 什么 问题 呢 ? 下 面 我 们 从 不 同 的 角度 进行 分 析 。 


从 开发 者 角度 来 看 ， 云 平台 提供 了 开发 全 生命 周期 的 工具 ， 降 低 了 对 开发 者 知识 体系 的 要 求 ， 极 大 地 提高 了 产品 开发 的 敏捷 
性 ， 为 应 用 的 完整 运行 环境 和 管理 机 制 提供 保障 ， 加 快 了 产品 推出 的 速度 。 


从 云 服务 提供 商 角度 来 看 ， 云 平台 吸引 更 多 的 用 户 (包括 开发 者 用 户 ) ， 为 用 户 提供 更 丰富 的 服务 内 容 (不 仪 包含 应 用 ， 也 
包括 平台 服务 ) ， 而 且 可 以 利用 内 置 的 应 用 服务 ， 为 自身 的 发 展 提供 更 多 的 数据 支撑 。 


Paas 作 为 一 个 软件 研发 、 运 行 和 运营 平台 ， 主 要 具备 以 下 3 个 特点 。 


: 一 个 基础 平台 : PaaS 区 别 于 IaaS 和 SaaS 的 最 主要 特点 是 ，PaaS 提 供 的 是 一 个 基础 平台 ， 而 不 是 其 他 的 服务 形式 。 从 传统 意义 
上 讲 ， 平 台 是 由 应 用 提供 商 搭建 和 维护 的 ， 是 应 用 系统 部 署 的 基础 。 而 PaaS 把 平台 包装 成 服务 ， 提 供给 应 用 提供 商 ， 降 低 了 应 用 
提供 商 的 开发 成 本 。 


“ 技术 支持 服务 : 除 基础 平台 之 外 ，PaaS 服 务 提供 商 还 提供 了 对 该 云 平台 的 技术 支持 ， 甚 至 包括 对 应 用 系统 开发 、 优 化 等 服 
务 。PaaS 提 供 的 技术 支持 为 之 后 的 应 用 系统 长 期 、 稳 定 运行 提供 了 技术 保障 。 


: 平台 级 服务 : PaaS 提 供 的 服务 还 包括 抽象 出 的 元 素 模型 和 大 量 的 可 编程 接口 ， 为 提供 商 的 应 用 开发 提供 基础 。PaaS 为 用 户 
提供 弹性 服务 支持 ， 真 正 实现 了 资源 的 动态 伸缩 、 统 一 运 维 ， 提 供 了 更 好 的 平台 服务 。 


3.1.2 ”PaaS 模 型 


通过 对 Paas 发 展现 状 的 调研 ， 结 合 对 国内 外 云 服务 厂 商 产 品 的 分 析 ， 整 理 出 Paas 的 概念 模型 ， 如 图 3.2 所 示 。 


Paas 的 模型 主要 包括 Paas 基 础 技术 层 和 平台 服务 层 两 部 分 内 容 。 


数据 库 即 服务 


云 平台 基础 技术 


IaaS 适 配 层 


IaaS 基 础 设施 层 


图 3-2” ”PaaS 概念 模型 


3.1.3 ”Paas 基 础 技术 层 
PaaS 基 础 技术 层 主要 指 的 是 PaaS 底 层 的 技术 架构 ， 功 能 是 实现 laaS 平 台 资 源 的 底层 适 配 和 PaaS 的 底层 技术 。1aaS 适 配 层 主 
要 是 为 了 屏蔽 基础 设施 层 的 技术 差异 性 ， 解 耦 PaaSs 和 1aaSs 层 。PaaSs 的 底层 技术 包括 云 平台 基础 技术 和 管理 平台 能 力 两 部 分 。 


云 平台 基础 技术 包含 云 平 台 的 基本 技术 实现 ， 为 PaaS 平 台 开发 提供 基础 ， 内 容 包 括 内 存 管理 (缓存 本 地 化 和 分 布 式 化 
等 ) 、 存 储 管理 、 网 格 计 算 、 弹 性 计算 、 安 全 管理 、 数 据 集成 、 调 度 技 术 、 多 租户 、 共 享 资 源 池 、 元 素 模型 管理 和 计 费 运营 等 。 


管理 平台 能 力 指 的 是 云 资源 池 中 资源 的 管理 、 系 统管 理 、 版 本 管理 等 基本 管理 功能 。 


3.1.4 ”PaaS 平 台 服 务 层 


平台 服务 层 可 以 细 分 为 应 用 的 开发 平台 、 运 行 平台 、 数 据 库 即 服务 平台 、 集 成 平台 即 服务 。 

开发 平台 提供 一 套 集 成 开发 框架 和 环境 ， 提 供 一 套 标准 的 技术 服务 。 应 用 提供 商 可 以 通过 Paas 提 供 的 开发 平台 进行 应 用 的 
开发 和 部 署 。 

运行 平台 涉及 两 个 方面 ， 一 方面 是 应 用 的 中 间 件 ， 另 一 方面 是 资源 的 管理 。 应 用 中 间 件 为 应 用 的 设计 、 开 发 、 测 试 和 托管 提 
供 系 统 支撑 。 资 源 的 管理 包含 资源 弹性 计算 、 调 度 和 监控 等 


Paas 在 数据 库 即 服务 平台 的 技术 架构 主要 采用 分 布 式 的 架构 方式 。 数 据 库 即 服务 平台 依赖 底层 的 数据 库 ， 封 装 后 把 数据 库 
作为 一 个 独立 的 服务 形式 提供 给 客户 。 封 装 后 的 数据 库 服务 模块 屏蔽 了 底层 数据 库 物 理 架 构 的 技术 细节 ， 具 备 连 接管 理 、 模 型 管 
理 等 功能 ， 提 供 公 共 的 数据 访问 接口 、 数 据 库 资 源 池 、 数 据 库 扩展 能 力 和 数据 库 的 多 租户 支持 。 


平台 即 服务 ， 内 容 主 要 包含 ETL (Extract Transform Load) 数据 集成 和 ESB (Enterprise Service Bus) 服务 总 线 。ETL 是 
将 数据 从 来 源 经 过 抽取 、 转 换 、 加 载 至 目的 端口 的 过 程 。ESB 是 从 面向 服务 体系 架构 SOA (Service Oriented Architecture) 发 
展 而 来 ， 作 为 统一 的 总 线 向 应 用 层 提供 服务 接口 。 


3.1.5 “PaaS 关 键 技术 


在 3.1.4 节 讲述 Paas 概 念 模型 时 ， 提 到 了 Paas 平 台 的 一 些 技术 点 。 本 节 着 重 介绍 其 中 的 几 个 关键 技术 : 虚拟 化 技术 、 容 器 技 
术 和 分 布 式 存储 。 


有 人 说 容器 技术 必 将 取代 虚拟 化 技术 ， 笔 者 不 这 样 认为 ， 虚 拟 化 技术 和 容器 技术 代表 两 个 发 展 方向 ， 侧 重点 不 同 ， 并 非 完全 
替代 关系 ， 是 可 以 共存 的 ， 至 少 短 时 间 内 容器 技术 不 会 取代 虚拟 化 技术 。 那 么 什么 是 虚拟 化 技术 ? 什么 是 容器 技术 ? 它们 到 底 有 
什么 区 别 呢 ? 下面 详细 介绍 。 


1. 虚 拟 化 技术 


虚拟 化 技术 是 利用 KVM、Xen 等 方案 将 硬件 资源 池 化 ， 实 现 多 用 户 共享 硬件 资源 。 其 实 就 是 把 一 台 硬 件 设备 虚拟 成 多 台 具 
有 独立 系统 的 逻辑 计算 机 ， 使 得 应 用 程序 独立 运行 而 互 不 干扰 。 虚 拟 化 技术 又 分 为 硬件 虚拟 化 和 软件 虚拟 化 ( 半 虚 拟 化 ) 。 硬 件 
虚拟 化 需要 CPU、 主 板 芯 片 组 、BIOS 等 软 硬 件 支持 ， 是 通过 CPU 的 指令 集 来 实现 虚拟 化 的 方法 。 这 种 虚拟 化 方式 能 够 减少 软件 
虚拟 机 的 相关 开支 ， 支 持 更 多 种 类 的 操作 系统 。 软 件 虚拟 化 是 指 不 需要 硬件 支持 ， 完 全 靠 软 件 实现 的 虚拟 化 技术 。 虚 拟 化 技术 内 
容 包含 平台 虚拟 化 、 资 源 虚拟 化 、 应 用 程序 虚拟 化 3 个 部 分 。 平 台 虚 拟 化 主要 是 针对 操作 系统 的 虚拟 化 。 资 源 虚 拟 化 是 针对 系统 
资源 的 虚拟 化 ， 如 计算 、 和 存储 、 网 络 等 。 应 用 程序 虚拟 化 指 仿真 、 模 拟 等 技术 。 


虚拟 化 技术 将 传统 的 硬件 资源 进行 抽象 ， 实 现 资源 的 动态 分 配 和 调度 ， 提 高 了 资源 的 利用 率 ， 解 决 了 传统 数据 中 心 成 本 过 


高 、 管 理 复杂 等 问题 。 


支持 硬件 虚拟 化 的 平台 比较 典型 的 是 Intel-VT (Intel Virtualization Technology) 和 AMD-V (AMD Virtualization) 。 软 
件 虚 拟 化 的 典型 代表 是 VMware Workstation、Sun Virtual Box、OpenVZ、Xen 和 QEMU 等 。 


2. 容 器 技术 


虚拟 化 技术 可 以 为 我 们 提供 多 个 操作 系统 实例 ， 实 现 资源 的 隔离 。 但 是 很 多 时 候 用 户 仪 仪 需要 少量 的 资源 去 运行 一 个 简单 应 
用 ， 虚 拟 出 一 台 计 算 机 来 完成 软件 发 布 不 仅 浪 费 系 统 资 源 ， 而 且 启动 时 间 也 很 漫长 。 其 实用 户 需要 的 仅仅 是 应 用 程序 本 身 及 依赖 
库 的 隔离 。 而 容器 技术 提供 更 轻 量 级 的 、 基 于 应 用 程序 的 封装 和 隔离 ， 可 以 很 好 地 解决 这 一 问题 。 


容器 技术 是 更 轻 量 级 的 资源 管理 技术 。Linux 容 器 技术 已 出 现 多 年 ， 容 器 镜像 技术 增强 了 容器 实例 的 可 迁移 性 和 可 复制 性 ， 
使 得 容器 技术 在 Paas 平 台 建 设 中 起 到 了 越 来 越 重 要 的 作用 。 


典型 的 容器 技术 有 Docker、Mesosphere 和 CoreO9s 等 。 其 中 最 有 名 、 发 展 最 迅速 的 是 Docker 技 术 ， 甚 至 有 人 把 Docker 与 
容器 技术 视 为 一 体 。Docker 利 用 Linux 内 核 提 供 的 控制 组 (Control groups，Cgroups) ， 实 现 应 用 程序 运行 时 资源 的 记录 、 
限制 和 隔离 等 ， 通 过 命名 空间 namespace 实 现 空间 隔离 ， 通 过 文件 系统 实现 权限 控制 。 


容器 技术 是 在 操作 系统 上 对 运行 环境 的 再 封装 ， 每 个 容器 有 独立 的 运行 空间 但 不 单独 拥有 操作 系统 ， 而 虚拟 化 技术 是 在 硬件 
层面 上 的 技术 ， 每 个 实例 都 拥有 独立 的 操作 系统 。 容 器 技术 创建 的 实例 仅仅 包含 应 用 程序 和 必要 的 依赖 库 ， 而 虚拟 化 技术 除 此 之 
外 还 包括 整个 操作 系统 。 因 此 ， 容 器 技术 可 以 创建 比 虚拟 化 技术 多 几 倍 的 实例 ， 降 低 云 服务 提供 商 的 系统 总 投入 。 


这 种 用 于 支持 应 用 程序 运行 的 独立 空间 ， 在 虚拟 化 技术 和 容器 技术 中 有 不 同 的 称呼 ， 如 虚拟 机 、 容 器 等 ， 在 本 章 中 我 们 称 之 
为 实例 。 


3. 分 布 式 存储 


分 布 式 存储 ， 顾 名 思 义 是 把 大 量 的 存储 设备 通过 网 络 互联 ， 作 为 一 个 整体 对 外 提供 存储 服务 。 分 布 式 存储 系统 实现 的 方式 多 
种 多 样 ， 在 这 里 我 们 不 对 实现 原理 进行 介绍 。 分 布 式 存储 的 分 类 通常 按照 存储 的 数据 类 型 进行 划分 。 数 据 类 型 可 以 分 为 3 类 : 非 
结构 化 数据 、 半 结构 化 数据 和 结构 化 数据 。 


* 非 结构 化 数据 : 指 没有 规律 可 循 的 数据 ， 主 要 类 型 有 文本 、 图 像 和 声音 等 。 
* 结构 化 数据 : 指 可 以 用 二 维 表 来 表示 的 数据 ， 通 常 存储 在 数据 库 中 ， 数 据 的 模式 和 内 容 是 完全 分 开 的 ， 如 关系 数据 库 等 。 


“ 半 结 构 化 数据 : 是 介 于 结构 化 和 半 结 构 化 之 间 的 数据 ， 数 据 的 结构 和 内 容 混 在 一 起 ， 没 有 明显 的 区 分 ，HIML 文 档 就 属于 


涪 


为 了 满足 分 布 式 系统 面临 的 各 种 需求 ， 我 们 把 分 布 式 存储 分 为 4 类 : 分 布 式 文件 系统 、 分 布 式 键 值 系统 、 分 布 式 表格 和 分 布 
式 数 据 库 。 


: 分 布 式 文件 系统 : 主要 用 来 存储 非 结 构 化 数据 ， 典 型 的 系统 有 GFS 和 HDFS 等 。 


:分布 式 键 值 系统 : 用 于 存储 关系 简单 的 半 结 构 化 数据 ， 它 只 对 外 提供 主键 的 CRUD 操 作 ， 可 以 根据 主键 创建 、 读 取 、 更 新 
或 者 删除 一 条 键 值 记录 ， 如 Amazon Dynamo 和 Taobao Tait 等 。 


:分布 式 表格 系统 : 用 于 存储 关系 复杂 的 半 结 构 化 数据 ， 支 持 CRUD (CRUD 是 指 在 做 计算 处 理 时 的 增加 (Create) 、 读 取 查 
询 (Retrieve) 、 更 新 (Update) 和 删除 (Delete) 几 个 单词 的 首 字母 简写 。CRUD 主 要 被 用 在 描述 软件 系统 中 数据 库 或 者 持久 层 
的 基站 本 操作 功能 ) 功能 和 范围 查找 功能 ， 典 型 的 系统 有 Microsoft Azute Table Stotage 和 Amazon DynamoDB 等 。 


.分布 式 数据 库 : 用 于 存储 结构 化 数据 ， 支 持 以 二 维 表 的 形式 组 织 数 据 ， 支 持 SQL 关 系 查 询 ， 典 型 的 系统 包括 Amazon RDS 
和 Mictosoft SQL Azute。 


3.1.6 ”Paas 的 发 展 

根据 Zion 市 场 研究 报告 ，PaaS 市 场 的 全 球 需求 到 2021 年 年 底 将 达到 91.2 亿 美元 ，2016 年 到 2021 年 的 年 复合 增长 率 超过 
30%, 

根据 最 新 1DC 的 研究 数据 显示 ， 在 国内 企业 最 需要 的 云 服 务 类 型 中 ，PaaS 的 需求 量 最 高 。 


从 上 面 的 数据 统计 及 预测 分 析 可 以 看 出 ，PaasS 作 为 未 来 应 用 开发 的 主要 方向 ， 在 未 来 几 年 依旧 会 保持 高 速 增长 。PaaS 将 逐 
渐 成 为 各 大 企业 在 云 计 算 产 业 中 的 主要 角逐 场 。 


Paas 未 来 的 发 展 方向 主要 有 以 下 几 个 : 
* 随 着 容器 技术 的 出 现 ， 大 量 的 开源 PaaS 项 目 迅速 涌现 ， 未 来 的 开源 PaaS 平 台 将 迎 来 快速 发 展期 。 
* 标准 的 不 统一 严重 阻碍 了 PaaS 平 台 的 发 展 ， 未 来 PaaS 平 台 在 市 场 的 推动 下 将 逐渐 走向 标准 化 。 


* PaaS 的 使 用 大 大 降低 了 应 用 开发 的 难度 和 开发 成 本 ， 未 来 的 PaaS 发 展 将 逐渐 占领 中 小 企业 市 场 。 


3.2 ”弹性 计算 平台 


本 节 主 要 介绍 弹性 计算 平台 的 基本 概念 和 实现 方法 ， 然 后 用 典型 的 弹性 计算 平台 一 一 Amazon EC2 来 讲 一 下 弹性 计算 平台 
的 优势 。 


3.2.1 “弹性 计算 平台 的 概念 


云 计 算 作为 一 种 高 效 按 需 供给 的 计算 模式 ， 重 要 特点 之 一 是 能 够 提供 具有 高 度 可 伸缩 的 弹性 服务 。 资 源 的 按 需 供 给 和 动态 管 
理 是 构建 一 个 高 效 可 靠 的 云 平台 的 核心 问题 之 一 。 弹 性 计算 平台 通过 虚拟 化 、 容 器 等 技术 ， 实 现 对 计算 资源 、 存 储 资 源 和 网 络 资 
源 的 合理 调配 ， 对 外 提供 弹性 计算 服务 。 


很 多 厂商 的 云 平台 都 对 外 提供 弹性 计算 服务 ， 如 阿里 云 、 华 为 、 亚 马 逊 AWS 等 。 弹 性 计算 服务 器 或 实例 基本 都 是 按照 应 用 
类 型 来 划分 。 例 如 ， 华 为 的 弹性 计算 云 服务 器 分 为 适合 大 数据 分 析 的 高 内 存 场景 、 适 合 工程 制图 的 GPU 场 景 、 适 合 数据 密集 计 
算 的 密集 存储 场景 等 。 按 照应 用 类 型 区 分 的 主要 原因 是 ， 不 同类 型 的 应 用 在 资源 占用 方面 存在 很 大 的 差异 性 。 例 如 ， 一 个 在 线 数 
据 处 理 系统 应 用 主要 变化 的 是 对 CPU 资源 的 需求 ， 而 一 个 云 存储 服务 器 主要 变化 的 是 对 存储 资源 的 需求 。 基 于 应 用 类 型 分 析 能 
提供 更 加 准确 的 资源 预测 ， 使 云 平台 能 够 提供 更 优质 的 弹性 服务 。 


3.2.2 ”弹性 计算 平台 的 实现 方式 


弹性 计算 平台 主要 解决 以 下 几 个 问题 : 


" 资源 自动 伸缩 ， 解 决 业务 突 发 情况 。 


* 提高 系统 容错 能 力 ， 发 现实 例 异 常 ， 能 迅速 进行 实例 切换 ， 保 证 应 用 能 正常 地 对 外 提供 服务 。 
:节省 成 本 ， 通 过 弹性 计算 平台 的 监控 模块 ， 实 时 监测 资源 使 用 情况 ， 用 户 只 需要 按 资源 实际 使 用 量 付费 。 


为 了 实现 上 面 的 几 个 目标 ， 并 且 综 合 几 个 弹性 计算 服务 厂商 提供 的 主要 功能 ， 我 们 把 弹性 计算 平台 的 核心 内 容 分 为 5 个 模 
块 : 监控 模块 、 资 源 调度 模块 、 用 户 模块 、 日 志 模 块 和 计 费 模块 ， 如 图 3.3 所 示 。 


弹性 计算 平台 


资源 调度 模块 


图 3-3 ”弹性 计算 平台 模块 划分 
1. 监 控 模块 


监控 模块 的 主要 作用 是 和 集群 中 监控 器 进行 交互 ， 实 时 获取 当前 实例 的 CPU、 内 存 、 存 储 、 带 宽 等 物理 资源 的 使 用 情况 及 
实例 的 运行 状态 。 实 时 采样 频率 与 该 实例 的 资源 变化 规律 建立 相关 性 。 


2. 资 源 调度 模块 
资源 调度 模块 是 弹性 计算 的 核心 模块 ， 主 要 采用 反馈 与 预测 相 结合 的 方法 实现 资源 的 动态 调整 ， 资 源 调 度 的 依据 主要 有 两 


个 ， 资 源 预测 和 实时 的 资源 监控 


资源 预测 是 通过 总 结 时 间 与 实例 的 资源 变化 规律 来 实现 的 。 


我 们 把 资源 预测 拆 分 成 两 个 预测 模型 来 看 ， 一 个 是 基于 时 间 的 实例 变化 模型 ， 一 个 是 基于 实例 状态 的 资源 变化 模型 。 基 于 时 
间 的 实例 变化 模型 很 容易 理解 ， 指 的 是 通过 长 时 间 的 实例 运行 状态 的 监控 ， 总 结 出 时 间 与 实例 变化 的 模型 。 基 于 实例 状态 的 资源 
变化 模型 ， 指 根据 当前 实例 的 运行 状态 总 结 出 的 占用 资源 的 模型 。 举 个 例子 ， 对 一 个 Web 应 用 进行 资源 预测 ， 基 于 时 间 的 实例 
变化 模型 指 的 是 时 间 与 网 页 请 求 量 的 变化 模型 ， 基 于 实例 状态 的 资源 变化 模型 指 的 是 网 页 请 求 量 与 占用 资源 的 变化 模型 。 当 然 也 
可 以 直接 建立 一 个 时 间 与 实例 占用 资源 的 变化 模型 ， 但 是 灵活 性 要 差 一 些 。 


虽然 另外 一 个 依据 是 实时 的 资源 监控 ， 但 是 不 能 只 根据 某 个 时 刻 监 控 到 的 资源 状态 来 进行 资源 再 分 配 或 者 动态 迁移 ， 这 样 会 
造成 集群 内 的 频繁 迁移 ， 增 加 不 必要 的 开销 。 为 了 解决 这 个 问题 ， 可 以 利用 统计 学 的 方法 ， 在 一 段 时 间 内 检测 到 多 次 超过 设置 的 


阅 值 时 ， 表 进行 资源 的 调度 。 当 然 ， 阐 值 和 资源 调度 的 门限 值 均 由 用 户 指 定 ， 以 满足 不 同 的 用 户 需求 。 


通过 资源 预测 和 实时 的 资源 监控 ， 来 决策 是 否 进行 资源 调度 。 资 源 调度 的 方式 有 两 种 : 横向 调整 和 纵向 调整 。 横 向 调整 是 指 
增加 实例 数量 来 对 外 提供 服务 ， 这 种 方式 往往 需要 重新 启动 应 用 ， 会 带 来 大 量 的 资源 开销 和 成 本 浪费 。 纵 向 调整 是 通过 增加 现 有 
实例 的 资源 或 动态 迁移 来 提高 处 理 能 力 。 当 作出 资源 调度 的 决策 后 ， 调 度 模块 首先 根据 实例 所 在 的 物理 主机 资源 的 使 用 情况 ， 来 
判断 是 否 能 够 为 实例 重新 分 配 资源 。 这 种 方式 可 以 减少 迁移 所 带 来 的 资源 开销 。 当 然 ， 如 所 在 物理 主机 无 法 满足 资源 再 分 配 的 条 
件 时 ， 就 需要 考虑 使 用 动态 迁移 。 


3. 用 户 模块 


用 户 模块 包含 3 部 分 的 内 容 : 弹性 资源 变化 的 可 视 化 呈现 ， 用 户 对 实例 资源 调度 的 羡 值 和 策略 的 配置 ， 以 及 实例 的 创建 、 启 
动 、 停 止 、 暂 停 、 保 存 和 恢复 。 配 置信 息 和 调度 最 终 通 过 发 送 到 调度 模块 来 实现 。 


4. 日 志 模 块 

日 志 模块 主要 记录 监控 模块 的 数据 ， 内 容 包括 各 实例 的 运行 状态 、 资 源 使 用 情况 及 用 户 的 操作 情况 等 。 

5. 计 费 模块 

计 费 模块 是 根据 监控 模块 收集 到 的 资源 使 用 情况 ， 按 照 预 先 设 定好 的 资源 使 用 价格 计算 出 用 户 的 费用 ， 并 发 送 到 用 户 模块 。 


通过 以 上 5 个 模块 的 配合 ， 实 现 了 PaaS 平 台 的 弹性 计算 服务 。 


3.2.3 ”弹性 计算 平台 举例 


提 到 弹性 计算 平台 ， 不 得 不 介绍 具有 代表 性 的 弹性 计算 平台 一 亚马逊 弹性 计算 云 (Amazon Elastic Compute 
Cloud，Amazon EC2) ， 其 提供 的 更 多 的 服务 是 laaS 服 务 。Amazon EC2 是 亚马逊 提供 的 可 以 通过 Web 服 务 接口 轻松 配置 计 


算 容 量 的 云 服 务 。 


Amazon EC2 主 要 由 Chris Pinkham 领 导 的 南非 开 普 敦 的 一 个 团队 开发 的 ，Pinkham 提 供 了 EC2 的 初步 架构 指导 。Amazon 
在 2006 年 8 月 25 日 第 一 次 对 EC2 进 行 有 限 的 公开 测试 。 之 后 的 几 年 内 陆续 地 补充 大 型 和 超大 型 等 实例 类 型 ， 并 添加 了 静态 IP 地 
址 、 可 用 区 域 、EBS 等 功能 。 现 在 的 Amazon EC2 的 功能 已 经 相当 完善 ， 通 过 Amazon EC2， 用 户 可 以 根据 需要 启动 任意 数量 的 
虚拟 服务 器 ， 运 行 任何 软件 和 应 用 程序 。 而 且 用 户 可 以 自由 地 建立 、 运 行 、 终 止 自己 的 虚拟 服务 器 ， 完 全 控制 计算 资源 。 


Amazon EC2 弹 性 计算 云 的 使 用 模式 如 图 3.4 所 示 。Amazon 云 用 户 使 用 客户 端 通过 Web 服 务 接口 来 实现 与 Amazon 弹 性 计 
算 云 内 部 的 实例 进行 交互 。 


Amazon 弹 性 计算 云 


实例 


图 3-4 Amazon EC2 使 用 模式 
Amazon 弹 性 计算 云 提 供 了 多 种 强大 的 功能 ， 这 里 我 们 仅 举 出 部 分 功能 进行 说 明 。 
1.EBS (Elastic Block Store) 卷 


EBS 是 EC2 提 供 的 独立 于 实例 生命 周期 的 持久 性 存储 卷 。EBS 具 有 高 可 用 性 和 可 靠 性 ， 可 以 用 作 实 例 启动 分 区 ， 当 然 也 可 以 
用 作 标 准 块 存储 设备 。 而 且 EBSs 卷 在 后 台 可 进行 单 可 用 区 的 自动 复制 ， 避 免 用 户 受到 组 件 故 障 的 影响 ， 大 大 提高 了 实例 存储 的 耐 
久 性 。EBSs 卷 用 作 启 动 分 区 时 ， 可 以 用 作 实 例 停止 后 的 重新 启动 ， 用 户 仪 需要 支付 维护 实例 状态 时 使 用 的 存储 资源 的 费用 。 


2. 地 理 位 置 和 可 用 区 


为 了 提高 用 户 实例 的 稳定 性 ， 保 护 应 用 程序 不 受 单一 位 置 故 障 的 影响 ，EC2 把 用 户 实例 分 布 在 不 同 的 地 理 位 置 和 可 用 区 内 。 
地 理 位 置 和 可 用 区 的 关系 如 图 3.5 所 示 。 


和 地 理 位 置 B 
地 理 位 置 人 


XAl 


图 3-5 地理 位 置 和 可 用 区 


3. 弹 性 |P 地 址 


EC2 每 次 局 动 实例 时 ， 会 自动 为 实例 分 配 IP 地 址 。 每 次 启动 后 ，IP 地 址 都 会 变 。 这 就 需要 重新 建立 IP 地 址 和 DNS 的 映射 天 
系 ， 等 待 DNS 把 这 种 变化 传递 到 整个 网 络 ， 这 个 时 间 可 能 会 长 达 24 个 小 时 。 为 了 解决 这 个 问题 ，EC2 引 入 了 弹性 IP 地 址 ， 弹 性 IP 
地 址 是 与 用 户 账户 关联 的 静态 IP， 而 不 是 与 实例 相关 联 。 如 果 用 户 不 改变 账号 或 主动 释放 ， 弹 性 IP 地 址 是 不 变 的 。 弹 性 IP 地 址 可 
以 通过 编程 的 方法 映射 到 任何 实例 ， 当 一 个 实例 发 生 故 障 后 ， 可 以 快速 将 弹性 IP 地 址 映射 到 替换 实例 ， 大 大 提高 了 系统 的 容错 能 
力 ， 保 证 了 服务 的 不 间断 性 。 


4. 自 动 伸缩 


EC2 的 自动 伸缩 功能 与 其 他 的 弹性 计算 平台 的 功能 相差 不 大 ， 都 是 为 了 提高 应 用 程序 的 可 用 性 并 降低 成 本 ， 根 据 用 户 自 定义 
条 件 对 Amazon EC2 的 容量 进行 自动 伸缩 ， 确 保 在 需求 高 峰 期 能 够 自动 增加 实例 数量 以 维持 性 能 ， 又 能 在 需求 较 低 时 自动 减少 
容量 来 降低 成 本 。 


5. 负 载 均衡 


为 了 提高 云 平台 的 可 用 性 、 灵 活性 及 安全 性 ，EC2 引 入 了 负载 均衡 。 通 过 EC2 的 负载 均衡 ， 可 以 有 效 地 检测 不 健康 的 实例 ， 
并 在 其 余 健 康 的 实例 间 重 新 分 配 路 由 流量 ， 使 用 户 的 应 用 程序 达到 更 高 的 容错 水 平 。 而 且 EC2 可 以 自动 扩展 请 求 处 理 能 力 ， 可 满 
足 各 种 流量 水 平 的 需求 ， 无 须 人 工 干预 。 


Amazon EC2 平 台 通 过 这 么 多 强大 的 功能 ， 为 用 户 提供 了 一 个 虚拟 的 集成 环境 ， 在 保证 充分 灵活 性 的 同时 ， 也 减轻 了 云 平 
台 运 维 管理 的 负担 。Amazon EC2 在 强大 功能 的 支撑 下 ， 提 供 了 多 种 使 用 不 同 场景 的 实例 类 型 以 供用 户 选择 ， 从 而 使 用 户 能 
选择 符合 目标 工作 环境 要 求 的 实例 。 


3.3 ”智能 监控 运 维 平台 


在 云 平台 建设 过 程 中 ， 智 能 监控 运 维 平台 是 必 不 可 少 的 环节 。 本 节 介绍 智能 监控 运 维 平台 的 主要 作用 及 实现 方法 ， 然 后 分 析 
智能 监控 运 维 平 台 的 未 来 发 展 方向 。 


3.3.1 育 景 及 概念 


随 着 信息 化 建设 的 全 面 开 展 ， 在 1BM 提 出 “智慧 地 球 ” 概 念 之 后 ， “智慧 园区 ” “智慧 城市 ” “智慧 医院 ”等 相继 出 现 。 智 
慧 化 建设 的 核心 是 以 物 联 网 、 云 计算 及 大 数据 分 析 等 信息 技术 为 核心 ， 构 建 一 个 环境 全 面 感知 、 智 慧 型 、 数 据 化 、 网 络 化 的 一 体 
化 服务 平台 ， 实 现 更 透彻 的 感知 ， 更 广泛 的 互联 互通 。 


在 智慧 化 建设 的 浪潮 中 ， 网 络 拓扑 复杂 、 设 备 型 号 多 样 、 设 备 数量 的 爆发 式 增长 ， 以 及 产品 复杂 度 的 快速 增长 等 都 给 运 维 管 
理 系统 提出 了 更 高 的 要 求 。 传 统 的 运 维 管理 系统 面临 着 运 维 平 台 不 统一 、 运 维 人 力 成 本 高 、 故 障 排查 慢 、 对 维修 人 员 的 技术 水 平 
要 求 高 、 系 统 不 能 自 恢 复 等 问题 ， 已 经 无 法 满足 当前 飞速 发 展 的 网 络 应 用 需求 。 智 能 监控 运 维系 统 的 重要 性 日 渐 凸 显 ， 通 过 智能 
监控 运 维系 统 能 够 快速 地 发 现 问题 、 分 析 定 位 和 止 损 。 


Paas 平 台 作 为 一 个 分 布 式 系统 ， 运 维 管理 对 象 由 传统 的 单个 服务 器 或 单个 系统 转变 为 集群 环境 ， 同 样 面 临 智能 监控 运 维系 
统 的 升级 改造 问题 。Paas 平 台 的 智能 监控 运 维 的 主要 功能 是 : 实现 对 云 平台 中 的 计算 资源 、 存 储 资 源 、 网 络 资源 、 云 应 用 服务 
进行 全 方位 、 全 时 区 、 智 能 化 的 监控 ， 保 证 云 平台 及 应 用 实例 的 安全 、 稳 定 、 可 靠 运 行 。 


3.3.2 ”实现 方法 


智能 监控 运 维 平台 的 实现 主要 包括 两 个 方面 : 数据 采集 和 异常 自动 检测 和 处 理 。 下 面 分 别 介绍 它们 的 功能 。 

1. 数 据 采 集 

数据 采集 和 处 理 是 监控 运 维 的 核心 。 一 个 没有 数据 的 监控 运 维 无 法 做 到 异常 情况 的 报警 ， 更 不 用 说 对 异常 情况 的 处 理 了 。 因 
此 ， 可 靠 的 数据 来 源 是 智能 监控 运 维 平台 的 基础 。 

数据 的 来 源 主要 分 为 两 部 分 : 一 部 分 来 自 于 实例 的 资源 监控 ， 另 一 部 分 是 实例 日 志 的 监控 。 实 例 本 身 的 监控 主要 是 采用 实例 
监控 工具 对 应 用 实例 进行 监控 数据 的 收集 、 分 析 ， 然 后 经 过 存储 处 理 后 以 可 视 化 界面 进行 展示 ， 同 时 为 应 用 实例 的 弹性 伸缩 提供 


数据 依据 。 实 例 日 志 包 含 实例 运行 状态 日 志和 应 用 运行 日 志 。 通 过 存储 卷 等 形式 对 实例 日 志 进 行 持久 化 存储 ， 提 供 平台 日 志 的 导 
出 功能 ， 既 能 为 平台 负载 均衡 提供 依据 ， 又 能 帮助 测试 人 员 对 应 用 故障 进行 排查 。 


2. 异 常 自动 检测 和 处 理 


以 往 运 维 的 业务 数据 出 现 环比 异常 、 持 续 偏 离 等 问题 时 ， 基 本 靠 运 维 人 员 的 经 验 进 行 排查 。 随 着 智能 运 维 监 控 系 统 的 发 展 ， 
可 以 通过 制定 监控 标准 来 实现 运 维 的 自动 化 ， 最 终 用 智能 化 的 方法 实现 对 异常 的 自动 处 理 。 异 常 自 动 检测 和 处 理 部 分 分 为 异常 检 
测 、 报 警 收 剑 、 关 联 分 析 与 故障 定位 、 自 动 处理 四 个 部 分 ， 如 图 3.6 所 示 。 


异常 自动 检测 和 处 理 


关联 分 析 
异常 检测 报警 收敛 与 自动 处 理 
故障 定位 


图 3-6 “异常 自动 检测 和 处 理 示意 图 
我 们 在 智能 运 维 监控 中 常用 的 异常 检测 策略 是 通过 阅 值 的 比较 。 传 统 的 异常 检测 是 靠 经 验 配 置 阐 值 ， 而 现在 通常 采用 统计 学 
方式 配置 自动 阐 值 ， 如 三 倍 于 标准 差 之 上 数据 的 为 异常 数据 等 。 对 于 普通 数据 和 周期 性 数据 的 阅 值 设 定 ， 又 可 以 分 为 恒定 阅 值 和 
动态 阅 值 。 


恒定 阅 值 的 设 定 参 考 方式 有 基于 历史 数据 统计 、 假 设 正 态 分 布 和 3Sigma 策 略 3 种 。 而 动态 阅 值 的 设 定 通常 采用 将 数据 分 
段 ,， 然 后 再 进行 阐 值 比较 的 方法 。 


报警 收敛 通常 是 指 精准 报警 ， 避 免 报 警 风 暴 。 当 某 些 报警 频繁 地 上 且 同 时 出 现时 ， 可 以 考虑 是 否 为 同一 个 报警 ， 甚 至 进行 一 些 
关联 挖掘 ， 不 再 进行 单独 报警 。 另 外 ， 对 于 一 些 离散 的 异常 点 是 否 每 次 都 报警 ， 需 要 对 系统 干扰 (毛刺 ) 有 一 定 的 忍耐 度 ， 解 决 
系统 误 报 的 问题 。 报 警 收敛 的 关键 是 进行 报警 合并 ， 通 常 的 策略 是 将 时 间 相近 、 相 同 监控 对 象 和 相同 监控 策略 的 报警 进行 合并 。 
对 于 不 能 使 用 上 述 方法 进行 报警 合并 的 异常 ， 通 常 采 用 关联 挖掘 的 方法 进行 精 ; 侍 报警 。 


报警 收敛 仅仅 是 异常 报警 的 一 个 策略 ， 除 此 之 外 还 要 通过 关联 分 析 ， 辅 助 运 维 工程 师 做 好 定位 问题 。 关 联 分 析 指 的 是 通过 把 
几 个 相关 联 的 模块 进行 组 合 分 析 ， 找 出 事件 与 事件 的 关联 ， 然 后 通过 以 前 发 现 问题 的 经 验 沉淀 ， 发 现 事件 的 强 相 关 ， 最 终 做 出 故 
障 诊断 ， 定 位 问题 。 故 障 诊断 的 依据 主要 是 来 自 领域 专家 的 经 验 积 办 或 者 逻辑 推导 。 


当 异 常 发 生 后 ， 根 据 问题 的 原因 ， 选 择 预先 定义 好 的 策略 ， 进 行 故障 恢复 。 对 于 一 些 无 法 进行 自动 处 理 的 异常 ， 通 常 通过 预 
定义 的 应 急 通 道 (短信 和 通道、 推送 处 理 终端 等 方式 ) 请 求 运 维 人 员 协 助 。 


3.3.3 ”未 来 发 展 


当前 的 智能 运 维 监 控 系 统 是 通过 对 云 平台 全 方位 的 数据 采集 ， 然 后 进行 异常 检测 ， 最 后 实现 故障 处 理 。 相 信 未 来 的 监控 系统 
会 更 加 智能 ， 能 够 通过 对 历史 数据 的 自动 学 习 并 预测 故障 的 趋势 ， 在 系统 刚 出 现 故障 征兆 还 未 造成 损失 时 就 能 够 及 时 发 现 并 处 
理 。 


3.4 物 联网 智能 硬件 开发 平台 


物 联网 和 云 平 台 的 结合 是 当前 的 一 个 热门 方向 。 本 节 首先 介绍 云 平台 为 物 联 网 开发 带 来 的 便利 ， 然 后 通过 一 个 机 智 云 的 案例 
简单 前 述 其 开发 过 程 。 


3.4.1 物 联 网 智能 硬件 开发 平台 简介 


什么 是 智能 硬件 ”引用 百度 百科 的 定义 是 : 
智能 硬件 是 继 智 能 手机 之 后 的 一 个 科技 概念 ， 通 过 软 、 硬 件 结合 的 方式 ， 对 传统 设备 进行 改造 ， 进 而 让 其 拥有 智能 化 的 功 
能 。 智 能 化 之 后 ， 硬 件 具备 连接 的 能 力 ， 实 现 互联 网 服务 的 加 载 ， 形 成 “ 云 + 端 ”的 典型 架构 ， 具 备 了 大 数据 等 附加 价值 。 


智能 硬件 是 物 联网 的 主要 感知 设备 ， 它 把 传感器 数据 通过 网 络 上 传 到 数据 中 心 ， 最 终 通过 移动 终端 连接 用 户 的 方式 ， 产 生 层 
出 不 穷 的 物 联网 应 用 。 智 能 硬件 的 种 类 繁多 ， 每 款 智 能 硬件 产品 都 需要 大 量 的 研发 人 员 投入 研发 ， 造 成 了 企业 的 研发 成 本 增 大 ， 
承受 的 风险 较 大 。 


通过 对 身边 的 物 联网 公司 的 了 解 ， 传 统 的 智能 硬件 开发 可 以 分 为 两 类 : 完全 自主 研发 和 外 包 。 完 全 自主 研发 ， 可 以 进行 持续 
的 技术 积累 ， 但 是 研发 周期 较 长 ， 需 要 投入 的 成 本 较 高 。 外 包 ， 可 以 进行 产品 的 快速 开发 ， 可 靠 性 、 稳 定性 都 有 一 定 的 保障 ， 但 


是 智能 硬件 变化 较 多 ， 无 法 对 产品 功能 进行 迭代 开发 ， 对 外 包公 司 有 一 定 的 依赖 性 ， 从 企业 竞争 力 和 综合 成 本 考虑 ， 不 是 较 好 的 
选择 。 而 物 联网 智能 硬件 开发 平台 的 出 现 ， 很 好 的 解决 了 以 上 问题 。 


下 面 以 一 块 机 智 云 的 开发 板 为 例 ， 介 绍 机 智 云 智能 硬件 开发 平台 的 使 用 过 程 。 


3.4.2 ” 物 联 网 云 平台 服务 案例 一 一 机 智 云 


机 智 云 是 机 智 云 物 联网 科技 有 限 公 司 开发 的 面向 个 人 、 企 业 开 发 者 的 一 站 式 智 能 硬件 开发 平台 和 云 服务 平台 。 该 平台 提供 了 
覆盖 智能 硬件 从 接 入 到 运营 管理 全 生命 周期 服务 的 能 力 。 而 且 机 智 云 平台 为 开发 者 提供 了 代码 自动 生成 工具 与 开放 的 云端 服务 ， 
最 大 限度 地 降低 了 物 联网 开发 的 技术 门槛 ， 帮 助 企业 缩 短 开发 周期 ， 降 低 开 发 成 本 。 机 智 云 的 网 络 结构 形式 如 图 3.7 所 示 。 


APP、 微 信 应 用 


图 3-7 机 智 云 网 络 结构 形式 
1. 机 智 云 的 平台 架构 
机 智 云 官网 的 机 智 云 平台 架构 如 图 3.8 所 示 。 
从 机 智 云 的 平台 架构 图 中 可 以 看 出 ， 机 智 云 Paas 平 台 为 开发 者 提供 了 设备 接 入 、 手 机 应 用 和 企业 应 用 的 开发 平台 。 下 面 我 
们 就 从 这 三 个 方面 介绍 机 智 云 智能 硬件 开发 平台 的 开发 过 程 。 
2. 设 备 接 入 开发 
用 户 只 需要 在 机 智 云 官 网 上 利用 自动 代码 生成 工具 ， 通 过 图 表 的 形式 选择 对 应 的 硬件 平台 ， 可 以 自动 生成 一 套 设 备 接 入 端的 


SDK。SDK 中 的 内 容 包括 设备 与 云端 通信 协议 的 解析 与 封包 、 传 感 器 数据 与 通信 数据 的 转换 逻辑 。 开 发 者 只 需要 把 这 套 SDK 的 代 
码 添加 到 自己 的 硬件 平台 上 ， 并 在 指定 的 文件 中 编写 硬件 动作 执行 函数 即 可 。 


| 设备 接 入 手机 应 用 企业 应 用 
| MCU SOC APP 微 信 充电 桩 管理 系统 ”业务 管理 系统 ; 
2 GAgent .------- IONSDRG 微 信 JSSDK  .----- 消息 代理 SDK ---、 
| M2M Open API 企业 API 消息 代理 服务 / 
机 智 云 “| ”消息 解析 ”消息 存储 ”消息 路 由 微服 务 集 群 
PaaS 平 台 ' ' 
D3 Engine RTBD 大 数据 机 器 学 习 ECE 雾 计算 
分 布 式 数据 层 
IaaS 平 台 AWS Azure 腾讯 云 阿里 云 
图 3-8 机智 云 平台 架构 
3. 手 机 应 用 开发 


机 智 云 提供 了 3 种 手机 应 用 开发 方式 : 集成 SDK、 使 用 App 开 源 框架 和 使 用 App 自 动 生成 。 


机 智 云 在 集成 SDK 中 已 经 完成 了 手机 与 云端 、 手 机 与 智能 硬件 的 通信 过 程 ， 开 发 者 只 需要 关注 手机 应 用 的 UI 和 UE 设计 即 


开发 者 也 可 以 利用 机 智 云 提供 的 App 开 源 框 架 进行 手机 应 用 的 开发 。 为 了 降低 智能 硬件 手机 应 用 的 开发 门槛 ， 机 智 云 在 App 
开源 框架 的 基础 上 ， 推 出 了 提供 项 目 完 整 控制 功能 的 App 自 动 生成 服务 。 开 发 者 使 用 App 自 动 生成 服务 ， 可 以 生成 对 应 产品 的 
App 参 考 代 码 ， 然 后 只 需要 在 参考 代码 的 基础 上 优化 UI 和 设计 设备 控制 逻辑 ， 就 可 以 快速 完成 对 应 产品 的 收集 应 用 。 


4. 企 业 应 用 


企业 应 用 是 指 企业 通过 获取 接 入 机 智 云 的 设备 数据 来 实现 特定 的 业务 管理 功能 。 机 智 云 提供 一 个 SNoti 实 时 设备 消息 传输 服 
务 ， 能 够 实时 地 将 设备 数据 推送 到 企业 的 业务 平台 上 。 除 此 之 外 ， 机 智 云 还 提供 了 一 个 企业 AP1， 为 企业 提供 设备 管理 、 数 据 统 
计 分 析 等 功能 ， 让 企业 更 关注 业务 管理 系统 本 身 ， 降 低 开 发 成 本 。 


企业 通过 机 智 云 提 供 的 一 站 式 智能 硬件 开发 平台 ( 即 PaaS) ， 可 以 方便 快捷 地 完成 设备 接 入 端 、 移 动 设备 端 及 企业 应 用 的 
软件 开发 工作 ， 节 省 开发 环境 搭建 工作 ， 集 中 精力 完成 综合 业务 系统 ， 更 好 地 服务 最 终 消 费 者 。 


3.5 ”本 章 小 结 


本 章 的 3.1 节 首先 介绍 了 云 平 台 的 基本 概念 及 主要 特性 ， 然 后 围绕 云 平 台 的 概念 模型 展开 了 详细 的 介绍 ， 让 读者 对 云 平 台 有 
一 个 整体 的 认识 。 之 后 介绍 了 PaaS 平 台 的 几 个 关键 技术 : 虚拟 化 、 容 器 和 分 布 式 存储 ， 并 对 它们 的 实现 原理 进行 了 简单 的 描 
述 。 最 后 介绍 了 云 平 台 的 未 来 发 展 趋势 。 


3.2 和 3.3 节 分 别 介绍 了 Paas 平 台 建 设 必 不 可 少 的 弹性 计算 服务 平台 和 智能 监控 运 维 平台 ， 并 对 它们 的 实现 方法 进行 了 描 
述 。 章 节 的 最 后 回归 到 Paas 平 台 对 物 联网 开发 的 影响 ， 并 举例 介绍 了 机 智 云 的 智能 硬件 开发 平台 。 


3.6 习题 


1. 什 么 是 云 平台 ” 云 平台 有 哪些 特点 ? 

2. 传 统 的 虚拟 化 技术 和 容器 技术 的 区 别 是 什么 ? 

3. 分 布 式 存储 是 如 何 分 类 的 ? 

4. 什 么 是 弹性 计算 平台 ? 其 主要 解决 什么 问题 ? 

5. 什 么 是 智能 监控 运 维 平 台 ? 主要 的 实现 方式 是 什么 ? 


6. 智 能 硬件 开发 平台 给 物 联 网 带 来 了 哪些 影响 ? 


第 4 草 ” 云 平台 搭建 实战 


云 平台 建设 的 目的 是 为 最 终 用 户 提供 服务 ， 因 此 云 平台 的 建设 与 服务 内 容 密切 相关 。 本 章 不 仅 介 绍 了 云 平台 部 分 ， 还 介绍 了 
其 基础 设施 和 应 用 服务 。 本 章 首先 介绍 云 平台 的 基础 建设 ， 然 后 对 当前 热门 的 云 平台 应 用 (智慧 校园 云 、 智 慧 城 市 云 、 智 慧 医疗 
云 和 智慧 交通 云 ) 进行 介绍 ， 内 容 包括 基本 概念 及 背景 、 云 框架 结构 、 云 建设 内 容 及 云 未 来 发 展 趋势 。 


4.1 云 平 台 的 基础 建设 


云 平台 中 的 基础 设施 部 分 包括 : 云 服务 器 、 云 存储 和 高 速 光纤 网 络 。 本 节 给 出 了 云 数 据 中 心 的 概念 和 基本 框架 ， 通 过 与 传统 
数据 中 心 对 比 ， 前 述 其 优势 。 


4.1.1 云 服 务 器 介绍 


提 到 | 服务器， 人们 首先 会 想到 其 具有 超 强 的 运算 性 能 ， 具有 大 内 存 和 高 容量 的 存储 。 云 服务 器 同样 具备 这 些 特点 ,但 是 与 传 
统 的 实体 服务 器 也 有 了 明显 的 区 别 。 云 服务 器 是 整合 了 计算 、 存 储 和 网 络 资源 ， 为 用 户 提 供 处 理 能 力 可 弹性 伸缩 的 计算 服务 。 与 传 
统 服务 器 相 比 ， 大 大 提高 了 灵活 性 、 可 扩展 性 ， 降 低 了 用 户 的 管理 成 本 。 


讲 到 这 里 有 人 会 提出 疑问 : 云 服务 器 是 否 是 VPS (Virtual Private Server， 虚 拟 专用 服务 器 ) ”其 实 这 两 者 有 明显 的 区 别 。 


VPS 是 利用 虚拟 软件 将 一 台 服 务 器 虚拟 成 多 台 虚 拟 服务 器 ; 而 云 服 务 器 是 一 个 分 布 式 系统 ， 并 不 是 一 台 服 务 器 。 


云 服务 器 也 被 称 为 计算 单元 ， 在 云 平 台中 的 角色 就 如 同人 的 大 脑 一 样 。 云 服务 器 并 不 是 真实 的 某 一 台 或 某 一 类 服务 器 ， 而 是 
由 一 组 集群 服务 器 利用 虚拟 化 技术 虚拟 出 来 的 ， 为 用 户 提供 弹性 资源 配置 服务 的 虚拟 服务 器 。 


云 服务 器 实现 的 主要 技术 是 虚拟 化 技术 、 分 布 式 存储 和 弹性 资源 调度 。 这 些 内 容 第 3 章 已 经 介绍 过 了 ， 这 里 不 表 歼 述 。 下 面 
通过 对 云 服务 器 与 传统 服务 器 的 比较 ， 来 看 一 下 云 服 务 器 有 哪些 优点 。 


. 随 着 业务 的 增多 ， 服 务 器 的 升级 改造 成 为 难题 ， 尤 其 当 传 统 的 服务 器 不 能 满足 使 用 要 求 时 ， 需 要 进行 更 换 ， 就 要 对 服务 器 
的 系统 、 环 境 和 数据 进行 再 安装 或 移植 ， 非 常 不 方便 。 而 云 服 务 器 提供 的 弹性 资源 扩展 能 力 很 好 地 解决 了 这 一 问题 ， 随 着 性 能 需 
求 的 不 断 提高 ， 无 须 考虑 系统 升级 问题 ， 云 服务 器 可 以 动态 地 进行 资源 伸缩 ， 满 足 业务 需求 。 


云 服务 器 可 以 根据 用 户 需 求 ， 更 加 灵活 地 提供 与 用 户 业 务 相 匹配 的 服务 器 ， 如 计算 型 服务 器 、 内 存 型 服务 器 、 通 用 网 络 增 
强 型 服务 器 和 大 数据 型 服务 器 等 ， 并 能 提供 更 高 的 灵活 性 。 


“ 云 服务 器 提供 灵活 的 计 费 方式 主要 有 包 年 、 包 月 、 按 量 付费 等 形式 ， 而 不 像 传统 服务 器 ， 需 要 一 次 性 付费 。 云 服务 器 的 
这 种 按 需 付费 方式 ， 节 省 了 用 户 一 次 性 购买 设备 的 成 本 ， 与 传统 服务 器 相 比 ， 有 明显 的 优势 。 


* 传统 服务 器 需要 投入 大 量 的 运 维 人 员 ， 要 时 刻 对 服务 器 的 状态 进行 监控 ， 对 大 量 的 告警 信息 进行 处 理 。 一 旦 发 生 故 障 ， 恢 
复 时 间 较 长 ， 给 用 户 造成 了 一 定 的 损失 。 而 云 服 务 器 减少 了 用 户 的 运 维 工 作 ， 使 用 户 能 够 专注 于 核心 业务 的 开发 。 云 服务 器 提供 
商 通常 不 仅 提供 24 小 时 客服 支持 ， 而 且 提供 更 快捷 的 云 服务 器 备份 和 升级 、 故 障 的 自动 检测 和 恢复 、 在 线 迁 移 保 证 业务 不 中 断 等 
高 级 功能 ， 大 大 降低 了 用 户 的 运 维 人 力 成 本 ， 提 供 更 优质 的 业务 。 


4.1.2 ” 云 人 存储 介绍 


在 这 个 信息 爆炸 的 时 代 ， 数 据 存储 是 云 平台 建设 中 重要 的 一 个 环节 。 云 存储 的 出 现 解决 了 大 规模 数据 持久 化 存储 的 问题 ， 为 
企业 及 个 人 提供 成 本 更 低 、 存储 更 安全 的 解决 方案 。 本 节 主 要 介绍 云 存储 。 那 么 什么 是 云 存储 ” 云 存储 系统 结构 是 什么 样 的 ? 云 
存储 的 优点 是 什么 ? 云 存储 提供 的 服务 有 哪些 ? 下面 就 对 这 些 问 题 一 一 解答 。 


云 存 储 不 仅仅 是 一 个 硬件 设备 ， 而 是 一 个 提供 云 存 储 服务 的 复杂 系统 。 云 存储 是 软件 和 硬件 的 结合 体 ， 包 括 服务 器 、 存 储 单 
元 和 操作 系统 等 。 


云 存储 是 利用 集群 、 分 布 式 等 技术 ， 将 网 络 中 不 同类 型 的 存储 设备 协同 起 来 ， 共 同 对 外 提供 数据 维护 、 管 理 和 存储 功能 的 服 
务 模式 。 


云 人 存储 就 是 一 种 以 数据 人 存储 和 管理 为 核心 ， 应 用 软件 和 存储 设备 相 结合 ， 为 用 户 提供 数据 人 存储 和 业务 访问 功能 的 一 种 服务 。 


4.1.3 云 存储 结构 


云 存储 的 结构 可 以 分 为 4 层 : 存储 层 、 基 础 管理 层 、 存 储 服 务 层 和 用 户 访问 层 ， 如 图 4.1 所 示 。 


存储 层 由 存储 设备 和 一 个 存储 设备 管理 系统 组 成 。 存 储 设备 通常 是 由 磁盘 阵列 、 磁 带 库 、 光 盘 塔 或 光盘 库 组 成 。 采 用 的 存储 
结构 形式 主要 包括 NAS (Network Attached Storage， 网 络 连 接 存储 ) 、DAS (Direct Attached Storage， 直 接连 接 存 储 ) 


和 SAN (Storage Area Network， 存 储 区 域 网 络 ) 。 而 存储 设备 管理 系统 包含 存储 虚拟 化 、 存 储 集中 管理 、 状 态 监 控 、 维 护 升 


级 等 内 容 . 
标准 应 用 访问 接口 


网 络 接 入 、 用 户 认 证 、 权 限 管 理 


公共 API 接 口 、 应 用 软件 、Web 服 务 等 


汀 次 河 宝 纺 


集群 
分 布 式 文件 和 重复 数据 删除 
系统 网 格 计算 和 ”数据 压缩 


泗 典 束 便 几 


存储 虚拟 化 、 存 储 集中 管理 、 状 态 监控 、 维 护 升 级 等 


酒 避 入 


存储 设备 《磁盘 阵列 、 磁 带 库 等 ) 


图 4-1 云 存 储 结构 


基础 管理 层 实现 云 存 储 设备 的 协同 工作 ， 实 现 的 主要 功能 有 集群 、 分 布 式 文件 系统 、 网 格 计算 、 内 容 分 发 、 重 复数 据 删 除 、 
数据 压缩 、 数 据 加 密 、 数 据 备份 、 数 据 容 灾 等 ， 是 云 存 储 实现 的 难点 ， 同 时 也 是 云 存储 的 核心 部 分 。 


存储 服务 层 不 仅 为 用 户 提供 公用 的 API 接 口 、 用 户 软 件 和 Web 服 务 等 ， 同 时 提供 网 络 接 入 、 用 户 认证 、 权 限 管理 服务 。 根 据 
业务 类 型 的 不 同 ， 云 存储 提供 的 应 用 接口 是 灵活 多 变 的 。 

用 户 访问 层 是 指 云 存 储 服务 供应 商 提 供 的 访问 类 型 和 访问 方式 。 授 权 用 户 可 以 通过 这 些 访 问 手段 ， 接 入 云 存储 系统 ， 享 受 云 
存储 服务 。 


4.14 云 仓储 的 优 、 缺 点 


云 存 储 相对 于 传统 存储 的 优 、 缺 点 ， 可 以 从 以 下 几 个 方面 进行 分 析 。 
1. 存 取 性 能 


由 于 云 存储 对 网 络 环境 的 依赖 性 ， 使 云 人 存储 无 法 实现 传统 存储 的 高 存 取 速 度 。 但 是 在 存储 容量 的 弹性 扩展 方面 ， 云 存储 通过 
集群 等 技术 ， 可 以 更 加 轻松 实现 存储 容量 的 扩展 。 


2. 安 全 性 


很 多 企业 或 个 人 用 户 担心 云 存储 的 信息 安全 问题 ， 其 实 大 多 数 的 云 存 储 都 提供 有 安全 加 密 措施 ， 而 且 由 于 信息 采用 分 布 式 存 
储 方式 ， 相 比 传统 存储 的 不 加 密 的 单一 存储 空间 ， 安 全 性 更 高 ， 并 且 云 存储 服务 提供 数据 备份 功能 ， 在 可 靠 性 方面 也 有 明显 的 优 
势 。 


3. 成 本 


云 存 储 服务 根据 用 户 使 用 容量 进行 计 费 ， 不 需要 用 户 在 前 期 的 一 次 性 投入 ， 而 且 用 户 无 须 为 设备 故障 支付 费用 ， 大 大 降低 了 
使 用 成 本 。 


4. 管 理 


云 存储 服务 提供 商 提 供 所 有 的 升级 维护 工作 ， 帮 助 企业 节 省 了 在 传统 存储 所 需要 考虑 的 管理 工作 。 


4.1.5 云 存储 的 应 用 


根据 用 户 不 同 ， 云 存储 服务 可 以 分 为 两 类 : 个 人 云 存 储 服务 和 企业 云 存 储 服务 。 个 人 云 存储 服务 包括 以 下 两 部 分 内 容 。 


“ 网 络 云 盟 。 用 户 可 以 使 用 网 络 云 衣 进 行 信息 同步 、 数 据 存 储 和 版 本 控制 等 功能 ， 目 前 提供 这 类 功能 的 有 百度 云 、 
Dropbox、 坚果 云 等 。 


* 云 文 档 。 提 供 文档 的 在 线 浏览 和 编辑 功能 ， 使 用 户 能 够 实时 地 对 文档 进行 快速 编辑 ， 而 不 用 考 上 处 同步 问题 ， 如 360 云 文档 


企业 云 存储 服务 包含 以 下 3 部 分 内 容 。 


“ 存储 空间 租赁 。 在 这 个 数据 爆发 式 增长 的 时 代 ， 云 存储 为 企业 用 户 提 供 价格 低廉 的 存储 空间 租赁 ， 降 低 了 企业 的 运营 成 


" 数据 备份 。 云 存储 服务 提供 商 为 企业 提供 数据 备份 、 容 灾 能 力 ， 增 加 数据 存储 的 安全 性 和 可 人 靠 性 。 


实际 上 ， 企 业 云 存 储 服务 往往 也 包含 云 文档 协同 等 服务 ， 个 人 云 存储 服务 也 包括 数据 备份 、 空 间 租赁 等 ， 两 者 并 没有 明显 的 
界限 。 


在 云 平 台 快 速 发 展 的 大 潮 下 ， 各 大 网 络 运营 商 纷纷 推出 了 面向 个 人 的 云 存储 服务 。 但 自 2015 年 以 来 ， 酷 盘 、 华 为 网 盘 等 陆 


续 停止 了 对 个 人 的 云 存储 服务 ， 只 剩 有 限 的 几 家 网 络 运营 商 还 提供 面向 个 人 的 云 存储 服务 。 究 其 原因 是 个 人 的 云 存 储 服务 找 不 到 
合适 的 盈利 模式 ， 很 难 持续 发 展 。 


随 着 云 存 储 技术 的 不 断 完善 ， 面 向 企业 的 云 存储 服务 正 进入 快速 发 展 阶段 ， 这 是 由 于 企业 更 加 看 重 云 存储 的 安全 性 、 协 同 
性 、 易 用 性 等 优势 。 


4.1.6 高速 光纤 网 络 

云 服务 作为 一 种 基于 Web 提 供 的 服务 ， 网 络 是 影响 云 服务 质量 的 最 重要 因素 之 一 。 高 速 光纤 网 络 是 提供 优质 、 可 靠 的 云 服 
务 的 基础 。 

高 速 光纤 网 络 由 两 部 分 组 成 : 传输 介质 (光纤) 和 交换 设备 。 


光 导 纤维 ， 简 称 光 纤 ， 是 一 种 利用 光 在 玻璃 或 塑料 制 成 的 纤维 中 的 全 反射 原理 而 制 成 的 光 传 导 介 质 。 光 纤 种 类 很 多 ， 分 类 也 
有 很 多 种 ， 按 材料 划分 可 以 分 为 石英 光纤 、 玻 璃 光纤 、 塑 料 光 纤 和 复合 材料 光纤 等 。 


传输 光纤 的 出 现 引 起 了 通信 技术 的 一 场 革命 ， 为 信息 社会 的 到 来 莫 定 了 基础 。 下 面 来 看 一 下 光纤 的 发 展 历史 及 其 潜 存 的 价 
值 。 


" 1966 年 美 籍 华 人 高 锟 提出 用 石英 玻璃 纤维 来 进行 信号 传输 。 
* 1970 年 康宁 公司 花费 3000 万 美元 ， 研 制 出 30 米 的 光纤 样品 ， 引 起 了 通信 界 的 震动 。 
" 1976 年 贝尔 实验 室 建立 了 第 一 条 光纤 线路 ， 速 率 是 45Mbps。 


. 1996 年 贝尔 实验 室 发 展 了 WDM (Wavelength Division Multiplex， 波 分 复 用 ) 技术 ， 光 纤 通 信 速 率 从 单 波长 的 Gbps 爆 炸 性 地 
增长 到 多 波长 的 Tbps 传 输 。 


光纤 的 理论 传输 速度 常用 的 1.3 微 米 和 1.55 微 米 波长 窗口 的 容量 就 有 至 少 25000GHz， 几 乎 是 取 之 不 尽 ， 用 之 不 竭 的 。 光 纤 
是 现代 高 速 网 络 传输 的 主要 介质 ， 具 有 通信 容量 大 ， 重 量 轻 、 抗 干扰 能 力 强 、 成 本 低 、 损耗 低 等 特点 ， 随 着 高 网 络 带宽 需求 的 不 
断 增 长 ， 在 未 来 的 网 络 通信 中 的 应 用 会 更 加 广泛 。 


在 云 服务 平台 中 的 交换 设备 主要 指 交 换 机。 目前 业界 主流 的 数据 中 心 交换 机 的 交换 容量 已 经 达到 上 干 Tbps， 单 接口 的 速率 
达到 100Gbps， 完 全 能 够 满足 云 服务 的 高 带宽 需求 。 


4.1.7 云 数 据 中 心 建设 


数据 中 心 ， 顾 名 思 义 就 是 用 来 做 数据 的 集中 式 管理 的 地 方 。 管 理 的 主要 内 容 包括 存储 、 计 算 和 交换 等 内 容 。 传 统 的 数据 中 心 
是 一 堆 分 立 的 物理 设备 的 堆砌 ， 统 称 为 数据 中 心 ， 只 是 为 了 进行 更 好 的 资源 管理 。 由 于 它 是 静态 的 物理 资源 ， 因 此 只 能 提供 静态 
的 工作 负载 能 力 。 传 统 数据 中 心 这 种 静态 结构 的 问题 很 多 ， 已 经 难以 支撑 企业 快速 发 展 的 业务 需要 。 


云 数据 中 心 是 基于 云 计 算 架 构 的 新 型 数据 中 心 ， 其 将 计算 、 存 储 及 网 络 资源 虚拟 化 ， 提 供 的 自动 化 程度 和 模块 化 程度 高 ， 扩 
展 能 力 强 ， 具 备 较 高 的 节能 程度 。 与 传统 数据 中 心 相 比 ， 云 数据 中 心 提 供 更 高 效率 ， 更 低能 耗 ， 更 多 的 业务 能 力 。 


云 数 据 中 心 由 4 部 分 组 成 : 硬件 基础 设施 、 云 平台 模块 、 业 务 体系 、 数 据 中 心 的 管理 和 服务 ， 如 图 4.2 所 示 。 


: 硬件 基础 设施 ， 也 称 之 为 绿色 数据 中 心机 房 ， 内 容 包括 机 房 布 局 、 综 合 布线 、 机 柜 、 电 力 系统 、 消 防 系统 、 运 维 中 心 、 制 
冷 系统 和 监控 门禁 等 ， 提 供 数据 中 心 的 基础 物理 设施 。 


* 云 平台 模块 是 指 云 平 台 部 分 的 实现 内 容 ， 包 括 提 供 计算 、 存 储 、 网 络 、 安 全 、 负 载 均衡 等 服务 的 基本 物理 设备 ， 以 及 基于 
这 些 物理 设施 实现 的 虚拟 化 、 分 布 式 管 理 等 软件 平台 。 


潢 导演 后 


分 布 式 技术 、 虚 拟 化 技术 、 并 行 、 上 自动 管控 
计算 、 网 络 、 存 储 、 安 全 、 负 载 均 衡 


电力 系统 
制冷 系统 


会 下 证 膝 社交 六 溢 只 忆 Hl 


图 4-2 云 数据 中 心 


“ 业务 体系 包括 基础 业务 、 云 业务 和 安全 业务 等 。 基 础 业务 主要 包含 基础 办 公 桌 面 、 运 营办 公 系 统 和 外 部 网 站 等 内 容 。 云 业 
务 包括 3 种 云 服务 提供 的 业务 。 安 全 业务 指数 据 中 心 的 安全 服务 、 故 障 恢复 及 数据 备份 等 业务 。 


: 数据 中 心 的 管理 和 服务 ， 主 要 提供 数据 中 心 的 业务 管理 和 专业 的 服务 ， 内 容 包括 数据 中 心 提供 的 专业 咨询 、 云 平台 管理 、 


综合 网 管 、 机 房管 理 和 安全 管理 等 。 
从 数据 中 心 结 构 的 组 成 看 ， 其 与 传统 数据 中 心 相 比 具 有 以 下 优势 : 


. 效率 更 高 。 由 于 云 数 据 中 心 的 弹性 资源 调度 ， 大 大 提高 了 资源 的 利用 率 。 而 且 由 于 云 数据 中 心 的 模块 设计 和 容错 机 制 ， 合 
得 运 维 效率 也 大 大 提高 。 


- 能 耗 更 低 。 云 数据 中 心 采用 绿色 节能 技术 建设 绿色 机 房 ， 并 且 实 现 基础 设施 与 IT 设备 联动 节能 ， 降 低 了 系统 能 耗 。 


: 业务 能 力 更 强 。 传 统 的 数据 中 心 ， 新 业务 上 线 时 需要 大 量 的 配置 工作 ， 尤 其 在 复杂 的 网 络 环境 中 。 如 何 缩短 上 线 时 间 ? 如 
何 保证 配置 的 可 靠 性 ? 云 数 据 中 心 完 全 采用 自动 化 的 方式 实现 ， 增 强 了 配置 的 可 靠 性， 缩短 了 产品 上 线 时 间 。 


4.2 智慧 校园 云 平台 搭建 


本 节 首 先 讲 述 智慧 校园 云 平 台 的 背景 及 概念 ， 根 据 云 平台 的 基本 模型 ， 介 绍 智 慧 校 园 云 平 台 的 特点 。 然 后 详细 介绍 智慧 校园 
云 平 台 的 建设 内 容 ， 包 括 智慧 教室 、 智 慧 实 验 室 、 智 慧 图 书馆 和 绿色 节能 等 内 容 。 最 后 对 未 来 智慧 校园 云 平 台 的 发 展 进行 简要 摘 


4.2.1 智慧 校园 云 概念 
自 2010 年 浙江 大 学 提出 “智慧 校园 ”的 概念 以 来 ， 国 内 各 院 校 纷纷 开展 从 “数字 校园 ”到 “智慧 校园 ”的 建设 工作 。 数 字 
校园 是 指 基 于 互联 网 实现 的 信息 化 建设 ， 而 智慧 校园 是 基于 物 联网 实现 的 。 


智慧 校园 是 利用 物 联 网 技术 ， 实 现 网 络 互联 ， 然 后 进行 数据 的 采集 和 分 析 ， 最 终 通 过 人 工 智能 和 大 数据 分 析 实 现 教 学 、 教 
研 、 管 理 及 校园 生活 的 融合 。 而 智慧 校园 云 平 台 是 提供 智慧 校园 功能 的 云 服务 。 


智慧 校园 云 平台 在 数字 化 校园 的 基础 上 有 3 个 主要 目标 : 
* 利用 智能 感知 环境 和 信息 服务 平台 ， 提 供 一 个 学 校 与 社会 的 相互 感知 的 接口 。 
促进 校园 内 信息 服务 、 校 园 实体 及 校园 内 各 个 应 用 与 服务 的 融合 ， 实 现 互联 。 


* 提供 窗 盖 全 校 的 智能 感知 环境 和 信息 服务 平台 ， 实 现 业务 互联 ， 最 终 能 够 为 广大 师 生 提供 基于 角色 的 个 性 化 服务 。 


4.2.2 ”智慧 校园 云 框 架 
智慧 校园 云 作为 云 计算 服务 的 一 个 现实 应 用 ， 我 们 按照 三 层 云 服务 (1aaS、PaaS 和 SaaS) 对 它 的 整体 结构 进行 分 解 ， 如 图 
4.3 所 示 。 


智慧 校园 云 平台 分 为 基础 设施 层 、 平 台 服 务 层 、 软 件 服务 层 和 用 户 服务 层 。 下 面 针 对 校园 特点 分 解 各 层 ， 对 各 层 包含 的 内 容 
进行 简要 说 明 。 


1. 基 础 设施 层 


基础 设施 层 包 括 两 部 分 : 云 平 台 基础 设施 和 智慧 校园 基础 设施 。 智 慧 校园 基础 设施 主要 指 校园 内 的 温度 传感器 、 声 音 传 感 
器 、 水 电表 、 监 控 设 备 、 消 防 设 备 和 RFID 等 。 云 平台 基础 设施 包括 云 服务 器 、 云 存储 、 网 络 设 备 、 安 全 设备 、 传 感 器 设备 和 监 
控 设 备 等 ， 为 智慧 校园 的 建设 提供 数据 支持 ， 为 上 层 服务 提供 计算 、 人 存储 和 网 络 资源 。 

2. 平 台 服 务 层 


平台 服务 层 分 为 两 部 分 : 数据 管理 平台 和 服务 平台 。 数 据 管 理 平台 提供 数据 的 统一 管理 ， 包 含 学 生 数 据 库 、 教 师 数据 库 、 资 
产 数 据 库 、 教 学 数据 库 、 传 感 数据 库 和 业务 数据 库 等 。 平 台 服务 的 内 容 包含 统一 授权 、 数 据 订 阅 、 系 统 日 志 、 账 户 管理 、 系 统 集 


成 接口 和 统一 消息 等 功能 。 


党 理 信 息 化 业 国 教学 信息 化 业 国 教育 公共 服务 
务 系统 业务 系统 


系统 日 志 


汕 阔 强 政 飞 


云 平台 基础 设施 : 智慧 校园 基础 设施 ; 


云 服务 顺 温度 传感器 
云 存 储 水 电表 

网 络 设备 监控 摄像 
安全 设备 消防 设备 等 


油 司 下 全 盯 


图 4-3 智慧 校园 云 平台 框架 


应 用 服务 层 主 要 是 指教 育 信息 化 业务 系统 ， 主 要 包含 3 个 部 分 内 容 : 管理 信息 化 业务 系统 、 教 学 信息 化 业务 系统 和 教育 公共 
服务 业务 系统 。 


管理 信息 化 业务 系统 包含 资产 管理 、 人 事 管理 、 电 子 政务 、 校 舍 管理 、 后 勤 服 务 等 校园 管理 内 容 。 教 学 信息 化 业务 系统 包括 
电子 备课 、 选 课 系统 、 数 字 图 书馆 、 视 频 教 学 、 电 子 课堂 、 录 播 系统 等 教学 内 容 。 教 育 公共 服务 业务 系统 包含 校车 安全 、 家 校 
通 、 平 安 校园 等 面向 社会 的 公共 服务 。 


4.2.3 智慧 校园 云 的 建设 内 容 

智慧 校园 云 是 一 个 结合 物 联网 技术 的 云 平台 ， 建 设 内容 包 含 校园 内 的 方方面面 ， 智 慧 化 建设 的 方案 也 各 式 各 样 ， 下 面 仪 以 笔 
者 的 认 知 着 重 对 智慧 教室 、 智 慧 科 研 、 和 智慧 课堂 、 智 慧 实验 室 、 绿 色 节 能 、 网 络 支 撑 、 智 能 安防 和 生活 服务 等 方面 进行 阐述 。 

1. 智 慧 教室 


教学 环境 的 建设 是 智慧 校园 建设 的 主要 内 容 ， 教 室 作 为 主要 的 教学 场所 ， 自 然 就 成 为 建设 重点 。 智 慧 教室 是 通过 物 联网 技术 
对 教室 内 的 资源 进行 统一 管理 ， 如 图 4.4 所 示 。 智 慧 教室 又 包括 教学 系统 、 考 勤 系统 、 灯 光 控 制 、 空 调控 制 、 视 频 监 控 和 通风 换 
气 等 。 智 慧 教室 不 仅仅 是 这 些 系统 的 简单 玻 加 ， 它 们 之 间 是 协同 关系 。 


智能 空调 系统 
投影 幕 a AN 
智能 安防 a 
投影 机 a 本 一 智能 通风 系统 


智能 照明 系统 


远程 互动 教学 系统 
自动 录 揪 系统 
综合 控制 系统 
智能 考勤 系统 
资产 管理 系统 


教学 系统 把 投影 仪 、 幕 布 、 功 放 、 音 箱 、 麦 克 等 设备 通过 无 线 网 络 技术 连接 到 智慧 校园 云 平台 上 。 教 学 系统 通过 课程 管理 系 
统 获取 当前 教室 的 课程 与 教师 ， 提 前 下 载 教师 的 课件 与 相关 资料 。 当 教室 内 的 考勤 系统 检测 到 教师 到 来 时 ， 会 自动 打开 投影 仪 等 
设备 ， 将 教师 的 课件 投放 到 幕布 上 。 


考勤 系统 通过 RFID、 人 脸 识 别 和 指纹 等 技术 对 学 生 和 教师 进行 考勤 ， 蔡 代 传 统 的 点 名 方式 ， 节 省 了 课堂 时 间 。 

灯光 控制 是 通过 声音 传感器 、 光 照 传感器 、 红 外 传感器 及 教室 内 人 数 识别 系统 等 实现 灯光 的 区 域 性 开关 控制 。 

空调 控制 通过 教室 内 的 温度 传感器 ， 感 知 当前 内 的 教室 温度 并 检测 当前 教室 内 是 否 有 人 ， 实 现 空调 的 开关 及 模式 控制 。 
视频 监控 设备 主要 是 在 教室 内 安装 监控 设备 ， 通 过 网 络 摄像 头 ， 对 教室 内 的 人 员 及 资产 进行 实时 监控 。 

通风 换 气 是 指 通过 PM2.5 或 CO2 传 感 器 ， 感 知 当前 的 空气 质量 ， 对 空气 净化 系统 或 换 气 系统 的 开关 状态 进行 控制 。 
2. 智 慧 科研 


智慧 科研 不 仅仅 为 科研 人 员 提 供 课题 申报 、 结 题 审查 、 学 术 交 流 ， 同 时 利用 大 数据 技术 为 科研 人 员 提 供 数 据 收集 和 整理 功 


hu 
CC 
oo 


科研 人 员 的 数据 整理 工作 烦琐 ， 需 花费 大 量 时 间 筛 选 有 用 信息 。 而 利用 智慧 科研 提供 的 大 数据 平台 ， 可 以 实现 对 预 设 的 数据 


源 进 行 数据 的 抓 取 、 分 类 ， 把 相关 信息 提供 给 科研 人 员 ， 使 他 们 获取 的 数据 更 加 全 面 ， 效 率 更 高 。 
3. 智 慧 课堂 


言 息 化 技术 在 各 个 方面 都 影响 着 人 们 。 智 慧 课堂 是 一 种 现代 化 的 教育 方式 ， 通 过 帮助 学 生 更 好 地 理解 概念 、 细 化 概念 、 提 高 
阅读 技能 和 学 业 成 绩 来 为 学 生 提供 优质 的 教育 。 


随 着 教育 现代 化 的 发 展 ， 传 统 的 讲课 方式 和 笔记 已 经 跟 不 上 时 代 的 需求 。 在 努力 促进 学 术 发 展 的 过 程 中 ， 必 须 考 虑 到 教学 的 
差异 化 模式 是 实现 更 深层 次 的 个 性 化 教学 的 必要 条 件 。 由 于 每 个 学 生 并 不 是 对 所 有 学 科 都 感 兴趣 ， 因 此 教育 机 构 有 责任 为 学 生 提 
供 各 种 机 会 以 提高 学 生 的 兴趣 ， 协 调 学 生 的 学 习 。 


互联 网 和 电子 学 习 设 备 给 教育 带 来 了 巨大 的 改变 。 通 过 计算 机 、 互 联网 和 多 媒体 设备 进行 教学 将 是 一 件 很 平常 的 事情 ， 在 教 
学 过 程 中 使 用 互联 网 不 再 是 一 个 梦想 ， 而 是 时 代 的 必然 发 展 趋势 。 


智慧 课堂 提供 一 个 虚拟 的 教学 环境 ， 是 利用 当前 学 校 积累 的 海量 的 教学 数据 ， 采 用 大 数据 、 云 计算 等 技术 实现 对 学 生 的 个 性 
化 教学 。 智 慧 课 堂 通 过 使 用 信息 和 通信 技术 ， 提 供 一 个 支持 学 生 学 习 及 与 教师 、 同 学 互动 的 虚拟 教室 环境 。 智 慧 课堂 的 特点 有 以 
下 几 个 。 


: 个 性 化 学 习 : 任何 课堂 都 有 不 同学 习 能 力 的 学 生 ， 这 往往 使 教师 难以 确保 所 有 的 学 生 都 能 理解 所 讲 的 知识 。 个 性 化 学 习 的 
现代 化 方法 使 学 生 能 够 以 自己 的 节奏 和 最 舒服 的 方式 自由 学 习 ， 能 够 在 自己 的 弱项 投入 更 多 的 时 间 。 


协作 学 习 : 协作 学 习 是 最 有 效 的 学 习 方 式 之 一 。 孤 立 的 教学 是 非常 限制 和 阻碍 学 习 进步 的 。 协 作 学 习 有 利于 拓宽 学 习 的 知 
识 面 ， 培 养 批 判 性 思维 。 协 作 学 习 的 内 容 包括 小 组 项 目 、 合 作 解 决 问题 、 辩 论 等 。 协 作 学 习 重 新 定义 了 课堂 上 传统 的 师 生 关系 。 


:以 学 生 为 中 心 : 在 智慧 课堂 中 ， 教 师 扮 演 促进 者 角色 ， 和 帮助 学 生 批 判 性 地 思考 ， 鼓 励 学 生 自主 地 发 现 和 掌握 新 概念 。 以 学 
生 为 中 心 的 教室 环境 ， 把 学 生 的 兴趣 放 在 首位 ， 注 重 学 生 自 身 素质 的 培养 。 


4. 智 慧 实 验 室 


智慧 实验 室 的 建设 内 容 包 括 实验 室 门禁 、 实 验 台 控制 、 实 验 室 主 控 机 、 实 验 室 信息 监控 及 软件 预约 平台 等 ， 如 图 4.5 所 示 。 


学 生 通 过 软件 预约 平台 预约 实验 ， 经 管理 员 批准 后 ， 通 过 RFID、 人 脸 识 别 等 技术 识别 身份 后 ， 可 以 通过 实验 室 门 禁 进入 实 
验 ， 同 时 实验 室 主 控 机 自动 打开 学 生 预 约 的 控制 台 。 实 验 过 程 中 对 实验 内 容 的 特征 信息 进行 数据 采集 ， 当 发 生 异 常 时 ， 通 过 实验 
室 紧 急 处 理 系 统 解 决 异常 。 


和 
或 告警 ， 朴 散 学 生 。 而 物理 实验 室 需 要 对 实验 台 的 电压 、 电 流 等 进行 监控 ， 当 实验 过 程 中 发 生 电 流 过 大 等 异常 现象 时 ， 会 自动 切 
断 实 验 室 电源 。 


学 生 实验 完成 后 ， 提 醒 学 生 恢复 实验 台 初 始 状态 ， 之 后 自动 切断 实验 台电 源 ， 开 放 人 允许 其 他 学 生 预 约 实验 。 整 个 实验 过 程 无 
须 人 工 监控 ， 提 高 了 实验 效率 。 


5. 绿 色 节 能 
绿色 节能 的 内 容 包含 水 、 电 、 暖 等 控制 。 
水 的 控制 通过 安装 红外 线 感应 水 龙头 实现 单一 水 龙头 的 节能 。 通 过 水 表 的 数据 采集 ， 把 各 水 表 的 数据 进行 可 视 化 呈现 ， 并 分 


析出 各 时 间 段 的 用 水 信息 ， 利 用 统计 学 分 析出 用 水 异常 ， 提 供 准确 告警 。 干 线 的 水 表 异 常 利 用 查 漏 设 备 等 进行 漏水 点 的 精确 定 
位 ， 为 维修 人 员 提 供 准 确信 息 ， 最 终 实 现 校园 水 资源 的 节能 控制 。 


电能 的 控制 也 分 为 数据 分 析 平 台 和 终端 的 节能 控制 两 部 分 。 终 端的 电能 控制 主要 根据 预 设 时 间 段 、 人 员 分 布 、 声 音 和 光照 等 
条 件 对 校园 、 教 室 、 走 廊 、 宿 舍 的 照明 灯 进 行 开关 控制 。 同 时 利用 电表 对 电能 的 数据 进行 采集 分 析 ， 找 出 校园 内 的 电能 损耗 异常 
点 ， 辅 助 维修 人 员 进 行 问题 定位 等 。 


供暖 系统 的 智能 化 控制 也 是 绿色 节能 的 重点 建设 内 容 之 一 。 内 容 包括 对 教室 、 宿 舍 、 实 验 室 等 进行 分 时 、 分 区 的 自动 化 控 
制 。 例 如 当 教 室内 夜晚 无 人 的 时 候 可 以 断 掉 供 暖 ， 等 第 二 天 早晨 上 课时 提前 一 段 时 间 打开 教室 的 供暖 控制 开关 ， 实 现 分 时 、 分 区 
控制 。 当 供暖 开关 打开 时 ， 对 教室 内 的 温度 进行 实时 监测 ， 当 教室 内 的 温度 偏 高 时 ， 可 以 适当 降低 供暖 流量 ， 避 免 给 学 生 造 成 不 
适 和 资源 浪费 。 


6. 网 络 支 撑 


网 络 全 覆盖 是 实现 智慧 校园 云 平台 的 基础 。 通 过 有 线 和 无 线 网 络 进行 全 网 内 的 覆盖 ， 把 数据 采集 、 数 据 分 析 、 数 据 处 理 等 模 
块 有 效 地 关联 在 一 起 ， 为 智慧 校园 建设 提供 网 络 支撑 。 


7. 智 能 安防 


智能 安防 是 智慧 校园 建设 的 重点 之 一 。 智 能 安防 系统 包括 3 部 分 内 容 : 门禁 、 视 频 监 控 和 和 报警。 门禁 系统 可 以 有 效 地 对 进出 
人 员 权 限 进行 管控 ， 并 准确 记录 人 员 信 息 ， 而 且 当 发 生 紧急 事件 时 ， 可 以 实现 人 员 的 快速 玻 散 。 视 频 监控 实现 对 校园 全 天 无 死角 
的 监控 。 报 警 是 指 对 已 经 发 生 的 异常 情况 或 预测 到 即将 发 生 的 险情 进行 告警 或 紧急 处 理 。 


4.2.4 智慧 校园 云 的 友 展 
随 着 智慧 校园 建设 的 不 断 发 展 ， 不 仅 需 要 保证 校园 网 内 的 高 带宽 、 高 可 靠 性 ， 还 需要 在 校园 网 内 建设 一 整套 从 用 户 接 入 控 
制 、 攻 击 病毒 类 报 文 识别 到 主动 防御 的 一 系列 安全 措施 ， 有 效 地 防御 病毒 和 黑客 的 攻击 ， 保 证 校园 网 内 的 安全 。 


随 着 校园 网 络 规模 的 增 大 ， 校 园 内 的 网 络 管理 工作 越 来 越 繁 重 ， 现 代 校 园 网 内 还 需要 提供 更 加 智能 的 网 络 管理 解决 方案 ， 将 
网 络 管理 人 员 从 繁重 的 工作 中 解脱 出 来 。 


智慧 校园 云 的 建设 促进 了 信息 化 技术 与 其 他 教学 元 素 的 结合 使 用 ， 建 立 一 个 个 性 化 的 教育 环境 ， 实 现 学 生 的 自 定义 学 习 进 
度 、 自 主 学 习 。 在 这 个 过 程 中 ， 仍 然 需要 进行 更 多 的 研究 内 容 ， 以 确定 哪些 教学 要 素 对 学 生 学 习 有 最 大 的 影响 。 而 且 ， 这 些 教学 
要 素 的 影响 力 尚 不 清楚 ， 进 一 步 研 究 将 对 智慧 教育 的 发 展 有 重要 意义 。 


随 着 信息 化 技术 在 社会 及 校园 内 的 普遍 应 用 ， 校 园 内 的 智能 产品 不 断 增多 ， 因 此 建设 一 个 安全 可 靠 、 性 能 卓越 、 易 于 管理 的 
智慧 校园 云 平台 是 必然 发 展 趋势 。 


4.3 ”智慧 城市 云 平台 搭建 


智慧 城市 是 当前 城市 建设 的 主要 方向 。 本 节 首 先 介绍 智慧 城市 云 平台 的 基本 概念 、 框 架 和 建设 内 容 ， 然 后 根据 当前 智慧 城市 
建设 的 现状 ， 分 析 智 慧 城市 云 平台 的 未 来 发 展 方向 。 


4.3.1 智慧 城市 云 概念 


随 着 城市 的 不 断 发 展 ， 人 口 的 不 断 增 加 ， 需 要 认真 考虑 面临 的 挑战 ， 妥 善 应 对 ， 以 适应 人 口 增 长 、 经 济 发 展 和 社会 进步 。 尽 
管 全 球 大 部 分 GDP 都 是 在 城市 中 产 出 的 ， 但 并 不 意味 着 城市 环境 比 其 他 地 方 要 好 。 城 市 是 人 们 关注 的 焦点 ， 而 且 两 极 分 化 严 
重 ， 如 果 管 理 不 善 ， 所 造成 的 负面 影响 是 难以 想象 的 。 智 慧 城市 可 以 带 来 更 好 的 城市 规划 和 管理 ， 从 而 实现 城市 的 可 持续 发 展 。 

智慧 城市 ， 融 合 信息 和 通信 技术 ， 能 有 效 提高 城市 各 行 各 业 的 工作 效率 ， 提 高 城市 本 身 的 竞争 力 ， 并 为 解决 环境 治理 、 交 通 
拥堵 、 应 急 指挥 等 问题 提供 新 方法 、 新 思路 。 

关于 智能 城市 的 定义 有 很 多 种 ， 但 是 业界 有 一 种 共识 是 说 智慧 城市 代表 了 城市 管理 、 服 务 和 基础 设施 方面 的 创新 性 建设 。 一 
个 智慧 城市 的 最 终 目 标 是 提供 一 种 新 的 城市 管理 方法 ， 包 含 城市 中 所 有 问题 的 发 现 与 处 理 。 


有 很 多 人 认为 智慧 城市 就 是 把 城市 的 各 个 方面 互联 ， 这 个 理解 是 有 偏差 的 。 城 市 中 的 基础 设施 建设 和 互联 是 智慧 城市 的 基础 


部 分 ， 利 用 这 些 基础 设施 建立 一 个 “高 效 、 安 人 全、 节能、 环保 ”的 城市 环境 才 是 智慧 城市 云 平台 的 目标 。 


4.3.2 ”智慧 城市 云 框架 


智慧 城市 云 通过 对 城市 应 用 所 使 用 的 资源 的 弹性 管理 ， 为 建设 智慧 城市 各 类 应 用 如 数字 城管 、 平 安 城 市 、 智 慧 贸易 、 智 慧 交 
通 提供 高 计算 能 力 及 海量 存储 资源 ， 有 效 提高 了 系统 资源 的 利用 率 。 


智慧 城市 云 框架 如 图 4.6 所 示 。 
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图 4-6 ”智慧 城市 云 框架 

1. 基 础 设施 层 


智慧 城市 云 的 基础 设施 层 包括 信息 网 络 设施 、 信 息 共 享 基础 设施 和 经 过 智能 化 改造 的 传统 基础 设施 。 


舍 息 网 络 设施 是 智慧 城市 云 的 信息 传输 系统 ， 包 括 有 线 宽 带 、 无 线 宽带 、 城 市 物 联网 及 三 网 融合 。 信 息 共 享 服务 设施 包括 云 
平台 所 需要 的 云 服 务 器 、 云 存储 、 网 络 设备 、 安 全 设备 、 测 试 中心 及 地 理 信息 系统 等 ， 为 智慧 城市 内 的 公共 数据 存储 、 信 息 安全 
提供 基础 。 通 过 对 水 、 电 、 气 、 热 管 网 ， 以 及 医院 、 道 路 、 桥 梁 、 和 车站、 机场 、 公 园 等 基础 设施 的 智能 化 改造 ， 构 成 智慧 校园 云 
平台 的 基础 设施 层 。 


2 平台 服务 层 
平台 服务 层 包 括 数据 管理 平台 、 日 常 运行 管理 平台 、 公 共 服 务 互动 平台 、 应 急 指挥 平台 和 政策 研究 分 析 平 台 
3. 应 用 服务 层 


应 用 服务 层 包括 智慧 安全 、 智 慧 民生 、 
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能 和 智慧 旅游 等 建设 内 容 。 


4.3.3 ”智慧 城市 云 的 建设 内 容 


智慧 城市 云 的 建设 内 容 涉及 智慧 安全 、 智 慧 民生 、 智 慧 交 通 、 智 慧 城管 、 智 慧 节 能 、 智 慧 旅游 等 方面 。 


“ 智慧 安全 : 城市 内 的 安全 管理 服务 ， 包 括 监控 联动 、 工 地 安全 和 设 # 


> 
而 
滑 
以 


. 智慧 民生 : 城市 内 的 公共 服务 、 社 区 、 医 疗 、 养 老 、 食 品 安全 和 污染 治理 等 。 
. 智慧 交通 : 公交 车 辆 运行 、 交 通 导 流 和 智能 出 行 等 。 


. 智能 城管 : 桥梁 监测 、 地 下 管 网 和 停车 管理 等 。 


. 智慧 旅游 : 游客 服务 和 行业 管理 等 。 
智慧 城市 的 内 容 涉及 方面 很 广 ， 这 里 仅 对 以 下 几 部 分 进行 介绍 。 
1. 智 慧 公共 服务 


建设 一 个 更 加 高 效 、 更 加 智能 、 更 加 环保 、 更 加 生态 的 公共 服务 环境 是 智慧 城市 云 建设 中 的 天 键 一 环 ， 包 括 建设 面向 全 民 的 
医疗 、 养 者、 教育 、 文 化 等 智慧 服务 软件 ， 提 高 城市 运行 效率 和 综合 服务 水 平 ， 全 面 推进 城市 的 智慧 公共 服务 体系 的 建设 。 下 面 
以 市 民 公 共 服 务 信息 平台 和 社会 保障 信息 平台 为 例 ， 介 绍 智慧 公共 服务 平台 的 建设 。 


智慧 公共 服务 平台 进一步 完善 了 市 民 公 共 服 务 信息 平台 ， 把 相关 的 企 、 事 业 单 位 加 入 到 公共 服务 平台 中 ， 市 民 通 过 一 个 系统 
就 可 以 完成 一 系列 的 公共 服务 ， 做 好 对 市 民 的 服务 工作 。 


智慧 公共 服务 平台 建立 了 完善 的 社会 保障 服务 体系 ， 全 面 推进 社保 卡 的 应 用 ， 解 决 部 分 药店 、 卫 生 服 务 站 不 能 使 用 的 问题 
确保 对 市 民 的 服务 质量 。 
2. 智 慧 停车 


公安 部 发 布 的 数据 ，2016 年 底 ， 全 国 的 汽车 保有 量 是 1.94 亿 辆 。 而 《2016 停 车 行业 发 展 白皮书 》 显 示 ，2016 年 全 国 停车 
市 场 消费 达 4000 亿 元 。 车 主 普遍 反映 “停车 难 ” “停车 贵 ”。 因 此 如 何 实现 停车 资源 的 时 空 错位 共享 就 成 为 了 热点 研究 方向 。 
民 多 城市 在 进行 智慧 化 建设 时 ， 也 都 对 智慧 停车 进行 了 一 些 举 试 。 


智慧 停车 可 以 解决 驾驶 员 在 出 行 前 或 出 行 过 程 中 ， 实 时 获取 目的 地 附近 的 停车 位 情况 ， 根 据 系统 推荐 的 车 位 情况 ， 可 选择 提 
前 预定 车 位 。 当 发 现 没 有 空 车 位 时 ， 可 提前 改变 出 行 计划 。 


从 停车 场 的 角度 看 ， 由 于 车 辆 对 车 位 信息 的 实时 查询 ， 提 高 了 车 位 的 使 用 效率 ， 产 生 了 更 多 的 经 济 效益 。 
3. 智 慧 社 区 


社区 是 城市 的 基本 组 成 部 分 ， 是 城市 居民 生存 和 发 展 的 载体 ， 是 城市 智慧 水 平 的 集中 体现 。 智 慧 社区 的 建设 目标 是 以 社区 居 
民 为 服务 核心 ， 建 设 一 个 安全 、 高 效 、 智 慧 化 的 服务 体系 ， 满 足 居民 的 生存 和 发 展 需要 。 从 技术 角度 来 讲 ， 智 慧 社区 是 物 联 网 、 
云 计算 等 技术 ， 为 居民 提供 了 一 个 舒适 、 便 利 、 现 代 化 的 服务 体系 。 


智慧 社区 可 以 分 为 4 部 分 的 内 容 : 智慧 家 庭 、 智 慧 政务 、 智 慧 民 生 和 智慧 物业 。 智 慧 家 庭 不 仅 包括 智能 家 居 内 容 ， 还 包括 家 
庭 内 的 视频 监控 、 实 时 报警 、 告 警 联动 等 家 庭 安防 的 内 容 。 智 慧 政务 不 仅 提 供 社区 信息 通知 、 公 告 等 内 容 ， 还 增加 了 社区 互动 办 
， 让 社区 居民 充分 参与 到 社区 建设 中 。 智 慧 民 生 包 括 社区 内 的 健康 、 医 疗 、 公 用 查询 等 便民 服务 。 智 慧 物业 是 依托 信息 化 技 
， 实 现 小 区 物业 的 统一 管理 ， 包 括 日 常 物业 工作 公示 、 物 业 费 收缴 、 物 业 保 修 服务 等 内 容 ， 为 居民 提供 更 优质 的 物业 服务 。 


> 
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4. 智 慧 物流 


在 2017 年 举办 的 全 球 智慧 物流 峰会 上 指出 ,我 国 2016 年 全 国 物流 总 额 达到 230 万 亿 元 ， 物 流 总 费用 超过 美国 ， 是 全 球 最 大 
的 物流 市 场 。 物 流 从 业 人 员 超 过 5000 万 人 ， 占 全 国 就 业 人 数 的 6.5%。 物 流行 业 的 建设 也 是 智慧 城市 建设 的 重要 内 容 。 


智慧 物流 不 仅 包括 运输 ， 还 包括 分 拣 和 配送 等 阶段 。 物 品 分 拣 采 用 自动 分 拒 系 统 ， 在 保证 可 靠 性 的 前 提 下 ， 提 供 较 高 的 分 拒 
速度 。 在 物流 货车 上 安装 定位 系统 ， 并 且 把 物流 货车 、 货 物 信息 接 入 互联 网 ， 使 物流 公司 和 用 户 可 以 准确 地 获取 货物 位 置 。 配 送 
人 员 可 以 通过 扫描 条 形 码 和 云 柜 完成 货物 的 配送 和 通知 。 


不 仅 如 此 ， 智 慧 物流 云 平台 可 以 依照 地 域 性 用 户 消费 特征 、 历 史 消 费 数据 进行 消费 预测 ， 通 过 大 数据 等 技术 建立 预测 模型 ， 
为 仓库 备货 及 运营 策略 制定 提供 依据 ， 典 型 的 有 京东 仓库 、 苏 宁 云 仓 等 。 


智慧 物流 通过 使 用 射频 识别 (RFID) 、 多 维 条 码 、 卫 星 定位 、 货 物 跟踪 、 电 子 商务 等 信息 技术 ， 整 合 物流 资源 ， 推 动物 流 
产业 的 信息 化 、 标 准 化 和 智能 化 。 


4.3.4 智慧 城市 云 的 发 展 


在 全 球 智慧 风暴 和 国家 政策 的 鼓励 下 ， 智 慧 城市 被 列 入 了 重点 课题 ， 纷 纷 开展 智慧 城市 的 建设 工作 ， 相 继 出 现 了 “智慧 南 
京 ” “智慧 深圳 ”等 示范 工程 。 尽 管 如 此 ， 我 国 的 智慧 城市 建设 还 存在 许多 问题 。 


据 了 解 ， 全 球 智慧 城 市 建设 的 投资 比例 服务 占 56%， 软 件 占 18%， 硬 件 只 有 26%， 而 我 国 刚好 与 之 相反 ， 硬 件 占 73%， 服 务 
仅 占 20%， 而 软件 只 有 7%。 从 这 份 数据 可 以 看 出 ， 我 国 的 智慧 城市 建设 存在 重视 硬件 ， 轻 视 软件 和 服务 的 特点 ， 缺 乏 市 场 导 
向 。 智 慧 城市 的 建设 不 仅 包 含 基础 设施 的 升级 改造 ， 还 包括 城市 各 行 各 业 的 信息 资源 整合 ， 否 则 称 不 上 智慧 城市 。 


当前 国内 各 城市 都 在 开展 智慧 城市 的 建设 工作 ， 但 是 大 部 分 城市 存在 盲目 建设 的 问题 ， 发 展 思路 不 明确 ， 缺 乏 对 智慧 城市 的 
正确 认识 。 而 且 ， 当 前 大 部 分 的 智慧 城市 建设 普遍 存在 设计 分 散 、 各 自 运 营 的 特点 ， 更 多 的 是 政务 方面 的 建设 ， 很 难 成 为 协同 高 
效 的 整体 ， 这 让 智慧 城市 的 整体 性 和 系统 性 大 打折 扣 。 


4.4 智慧 医疗 云 平台 搭建 


本 节 主 要 阐述 智慧 医疗 云 产生 的 背景 ， 前 述 智慧 医疗 云 的 架构 ， 然 后 根据 各 厂商 提供 的 智慧 医疗 云 的 解决 方案 总 结 智 慧 医疗 
的 建设 内 容 ， 最 后 简单 介绍 智慧 医疗 云 的 发 展 趋势 。 


4.4.1 ”智慧 医疗 云 概念 


随 着 生活 节奏 加 快 、 生 活 压力 增 大 ， 人 们 的 生活 越 来 越 不 规律 。 这 种 不 规律 的 生活 方式 严重 危害 人 们 的 健康 。 据 相关 统计 数 
据 表 明 ， 我 国 亚 健康 人 数 逐 年 上 涨 ， 目 前 已 经 超过 总 人 数 的 75%。 因 此 为 人 们 提供 良好 的 医疗 卫生 服务 ， 满 足 社会 大 众 的 健康 需 
求 势 在 必 行 。 但 是 我 国 的 人 口 基数 大 ， 医 疗 投入 较 低 ， 导 致 当前 我 国 的 医疗 卫生 服务 仍然 存在 很 多 问题 : 


. 信息 系统 资源 分 散 ， 缺 乏 信 息 共 享 和 整合 


> 


. 医生 对 病人 的 历史 病情 很 难 掌握 ， 大 多 人 靠 询问 的 方式 。 
. 对 于 医院 的 历史 病历 数据 没有 发 挥 应 有 的 作用 。 


` 病人 出 院 后 ， 无 法 对 后 续 的 健康 状况 进行 监测 。 


- 医疗 资源 分 配 不 均 ， 大 医院 人 满 为 患 ， 小 医院 无 人 问津 。 


医疗 体系 改革 人 迫在眉睫， 是 当前 社会 关注 的 热点 话题 。 国 家 在 政策 上 对 医疗 行业 的 信息 化 建设 也 有 支持 。 在 《2006 一 2020 
年 国家 信息 化 发 展 战略 》 中 明确 提出 要 加 强 医 疗 卫 生 信 息 化 建设 ， 建 设 并 完善 覆盖 全 国 、 快 捷 高 效 的 公共 卫生 信息 系统 ， 增 强 防 
疫 监 控 、 应 急 处 置 和 救治 能 力 ; 推进 医疗 服务 信息 化 ， 改 进 医院 管理 ， 开 展 远 程 医疗 ; 统筹 规划 电子 病历 ， 促 进 医 疗 、 医 药 和 医 
保 机 构 的 信息 共享 及 业务 协同 ， 支 持 医疗 体制 改革 。 


因此 ， 在 信息 化 改革 的 大 潮 下 ， 利 用 先进 的 大 数据 、 云 计算 等 技术 来 提高 医疗 资源 的 使 用 效率 ， 解 决 现存 的 医疗 服务 问题 ， 
是 我 国医 疗 卫生 行业 发 展 的 主要 方向 。 在 这 种 大 环境 下 ， 智 慧 医疗 云 应 运 而 生 。 


4.4.2 ”智慧 医疗 云 框 染 


智慧 医疗 云 框架 如 图 4.7 所 示 。 


院 综合 管理 


共 圣 信息 和 公共 卫生 是 医疗 管理 和 医疗 
资源 服务 服务 服务 


泗 冰 寺 于 如 


酒 泌 霖 路 书 


云 平台 基础 设施 ， 
云 服务 器 
云 存储 
仑 人 
网 络 设备 电子 标签 等 


油 荆 于 全 上 订 


图 4-7 智慧 城市 云 框 架 
1. 基 础 设施 层 
基础 设施 层 分 为 两 部 分 : 感知 层 设备 、 云 平台 基础 设施 。 
. 感知 层 设备 : 包括 移动 通信 设备 、 医 疗 设备 、 一 卡通 、PC、 传 感 器 、 摄 像 头 、 电 子 标 签 和 条 形 码 等 。 
. 云 平台 基础 设施 : 指 云 服务 器 、 存 储 设 备 、 网 络 设备 等 。 
2 平台 服务 层 
平台 服务 层 包 含 医疗 服务 、 公 共 卫 生 服 务 、 医 疗 管理 服务 、 共 享 信息 资源 和 数据 管理 平台 等 内 容 。 
3. 应 用 服务 层 


应 用 服务 层 包 含 临 床 医疗 业务 、 临 床 移动 信息 、 医 院 综 合 管理 、 区 域 医疗 协作 、 外 部 接口 和 医疗 后 勤 业 务 系统 。 临 床 医疗 业 
务 系统 包含 数字 化 手术 室 、 电 子 病历 、 手 术 麻 醉 系 统 、 医 生 工 作 站 、 护 士 工作 站 、RI 和 PACS 等 。 临 床 移动 信息 包含 移动 门诊 输 
液 系统 、 移 动 临 床 信息 系统 、 婴 儿 安全 系统 、 移 动 查 房 、 一 卡通 、 病 人 无 线 定位 管理 系统 和 设备 药品 定位 系统 等 。 医院 综合 管 


系统 包括 决策 管理 系统 、 客 户 关 系 管理 、 办 公 自 动 化 系统 、 查 询 与 分 析 系 统 和 医院 门户 系统 。 区 域 医疗 协作 系统 包括 远程 会 诊 系 
统 、 影 像 中 心 、 检 验 中 心 、 健 康 管理 、 病 理 中 心 和 医疗 联盟 等 。 外 部 接口 包括 区 域 卫 生 信息 系统 接口 、 医 保 接口 、 银 行 、 计 生 、 
民政 和 公安 等 。 医疗 后 勤 业务 系统 包括 公共 安全 系统 、 信 息 设施 系统 、 机 房 工程 和 信息 化 应 用 系统 等 。 


4.4.3 ”智慧 医疗 云 的 建设 内 容 


智慧 医疗 云 的 建设 内 容 包 括 临 床 医疗 业务 、 临 床 移动 信息 、 医 院 综 合 管理 、 区 域 医疗 协作 、 基 础 建设 等 各 个 方面 。 前 面 介绍 
过 水 、 电 、 上 暖 、 安 防 等 方面 ， 下 面 着 重 介 绍 电子 病历 、 远 程 医疗 、 抗 震 救灾 、 远 程 教育 、 健 康 管理 、 自 动 化 药房 等 具有 医院 特色 
的 信息 化 建设 。 


1. 电 子 病历 


手写 病历 人 存在 浪费 时 间 、 容 易 出 错 且 不 工整 、 不 易 保 存 等 缺点 。 电 子 病 历 的 建设 是 医院 现代 化 建设 不 可 或 缺 的 一 部 分 。 电 子 
病历 不 仅 是 对 纸张 病历 的 替代 ， 它 是 实现 医疗 过 程 全 面 信息 化 的 基础 。 


电子 病历 包含 患者 从 就 诊 到 治愈 全 周期 、 从 下 达 医 嘱 到 执行 的 全 过 程 及 各 种 医疗 过 程 的 所 有 信息 。 


只 _ 
Eh 
圈 


电子 病历 为 医护 人 员 提 供 完 整 的 、 实 时 的 、 准 确 的 病人 信息 ， 有 效 提供 医疗 质量 ， 并 且 可 以 结合 医疗 知识 库 ， 通 过 告 
示 等 手段 ， 为 医生 提供 理论 依据 ， 降 低 医疗 事故 的 发 生 率 。 


2. 远 程 医疗 


远程 医疗 是 利用 网 络 技术 进行 远程 诊断 、 专 家 会 诊 、 信 息 服 务 、 在 线 检查 和 远程 交流 等 。 远 程 医 疗 依靠 网 络 技术 、 音 像 多 媒 
体 技术 、 全 息影 像 技术 等 终端 技术 查看 医学 资料 及 病人 的 身体 状况 ， 实 现 远 程 医疗 服务 ， 如 图 4.8 所 示 。 
(= 
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图 4-8 ”远程 医疗 示意 图 


经 国际 非 营利 组 织 Healthcare Information and Management Systems Society (HIMSS) 在 美国 进行 的 远程 医疗 调查 研 
究 结果 显示 ， 远 程 医 疗 技术 中 使 用 视频 交流 和 影像 传输 的 比例 最 高 。 这 一 技术 看 似 是 最 简单 的 ， 却 是 作为 线 下 服务 补充 最 有 效 的 
方法 。 下 面 举 几 个 现实 的 例子 说 明 : 


在 九寨 沟 地 震 发 生 后 ， 相 关 医 疗 救援 工作 迅速 展开 。 与 以 往 的 救灾 工作 不 同 的 是 ， 除 了 一 些 医院 迅速 派 遗 医护 人 员 赶 往 受 屎 
现场 进行 一 线 援助 外 ， 还 有 一 些 医院 和 医疗 机 构 通过 互联 网 医疗 技术 ， 开 展 网 络 医疗 救助 通道 ， 以 在 线 方式 为 灾区 病 患 提供 在 线 
医疗 救助 ， 如 图 4.9 所 示 。 


图 4-9 ”九寨沟 地 震 远 程 医疗 图 


通过 智慧 医疗 云 平 台 上 的 远程 医疗 ， 不 仪 能 够 实现 对 病人 进行 疏 导 和 初步 分 诊 之 外 ， 还 可 以 将 医院 可 用 的 医疗 资源 ， 通 过 更 
快捷 的 方式 向 病人 开放 ， 实 现在 线 转 诊 ， 提 高 灾后 救助 工作 的 效率 。 


医疗 人 员 作 为 医院 的 主要 工作 人 员 ， 医 疗 水 平 的 提高 也 是 智慧 医疗 云 建设 的 重要 部 分 。 
1) 远程 手术 观摩 


远程 手术 直播 是 把 专家 经 典 手术 案例 进行 全 程 直播 ， 让 医护 人 员 及 医学 院 学 生 观 看 ， 学 习 到 更 多 的 临床 手术 经 验 。 


在 2004 年 的 上 海 国际 心血 管 病 研讨 会 期 间 ， 上 海 瑞金 医院 会 场 的 国内 外 专家 通过 网 络 技术 现场 观摩 了 一 个 心脏 接 入 手术 演 
示 ， 演 示 同 时 将 几 个 地 方 的 手术 现场 和 手术 显影 图 像 实时 传输 到 会 场 中 ， 并 实现 了 会 场 和 手术 现场 的 通话 。 


2) 网 上 阅 片 


医学 影像 管理 系统 通过 保留 病人 的 医学 图 像 和 诊断 结果 ， 在 保护 病人 隐私 的 基础 上 ， 将 一 些 经 典 案例 分 享 给 相关 人 员 研 究 学 
习 ， 如 图 4.10 所 示 。 


图 4-10 网 上 阅 片 


3) 经 验 分 享 
医院 各 部 门 可 以 通过 智慧 医疗 云 平台 进行 经 验 分 享 和 交流 ， 有 助 于 提高 医疗 人 员 的 疾病 诊断 水 平 。 
5. 健 康 管理 


智慧 医疗 云 为 公众 提供 无 所 不 在 的 全 生命 周期 的 健康 医疗 服务 。 健 康 服务 体系 可 以 分 为 3 部 分 : 健康 感知 设备 、 健 康 数 据 管 
理 及 健康 服务 。 


健康 感知 设备 不 仅 包 括 体 脂 称 、 血 糖 仪 、 血 压 计 、 心 率 手 表 等 专用 健康 设备 ， 也 包括 手机 的 运动 健康 等 服务 ， 可 以 对 用 户 的 
健康 数据 进行 采集 ， 然 后 上 报到 智慧 医疗 云 数据 中 心 。 


健康 数据 管理 负责 管理 用 户 的 健康 档案 、 电 子 病历 、 健 康 知识 库 等 内 容 ， 方 便 居 民 查 询 自己 的 健康 状况 ， 并 获取 一 些 经 验 指 


当 用 户 的 健康 数据 传送 到 用 户 的 手机 上 之 后 ， 用 户 可 以 根据 自己 的 健康 状况 进行 健康 咨询 ， 并 且 还 能 为 以 后 的 就 诊 提供 数据 
支撑 。 同 时 各 医院 、 社 区 卫生 服务 中 心 、 健 康 顾 问 、 健 康 管理 公司 、 康 复 中 心 等 机 构 ， 可 以 根据 用 户 的 健康 数据 进行 慢 病 管理 、 
健康 评估 、 健 康 干预 、 健 康 教育 、 就 医 服务 、 风 险 预 测 、 健 康 跟踪 、 专 家 互动 等 服务 。 


6. 自 动 化 药房 


1) 管理 困难 


医院 药房 大 多 存放 在 无 顶 的 货架 上 ， 人 存在 灰尘 大 、 环 境 脏 等 缺点 ， 需 要 定期 打扫 。 而 且 药 房 内 的 药物 种 类 繁多 ， 摆 放 较 乱 ， 
增加 了 管理 人 员 的 负担 ， 同 时 也 影响 药房 的 服务 质量 。 


2) 配药 时 


配药 师 的 工作 是 辅助 药师 制定 药物 治疗 方案 并 给 予 患者 用 药 指 导 。 然 而 传统 的 药房 配药 师 经 常 为 快速 找 出 所 需 药品 的 准确 存 
放 位 置 而 烦恼 ， 工 作 强度 大 并 且 严 重 影响 了 服务 质量 ， 造 成 了 患者 多 、 排 队长 的 结果 。 而 且 高 强度 的 体力 劳动 还 有 可 能 导致 配药 
师 发 错 药 ， 引 起 医 患 纠纷 。 


药房 的 自动 化 管理 实现 了 医院 对 药房 的 信息 化 管理 ， 可 以 方便 地 查询 日 常 的 出 药 、 入 药 、 储 药 量 等 信息 ， 并 且 减 少 了 由 于 抓 
药 过 程 中 造成 的 药品 损耗 问题 ， 有 效 地 降低 了 配药 差错 ,缩短 了 病人 的 等 待 时 间 ， 提 高 了 服务 质量 。 


自动 化 药房 包含 药物 存 取 和 药物 存储 功能 。 自 动 化 药房 的 实现 方式 多 种 多 样 ， 大 多 是 采用 真空 吸附 、 标 准 药 瓶 、 数 控 回转 
柜 、 储 药 滑落 槽 、 机 械 手 、 传 动 融和 升降 机 等 方式 。 药 物 的 识别 依靠 RFID、 二 维 码 、 超 声波 等 技术 。 


4.4.4 智慧 医疗 云 的 友 展 


随 着 国家 多 项 医疗 信息 化 政策 的 出 台 及 医改 的 不 断 深入 ， 医 疗 信息 化 成 为 了 一 个 必然 的 发 展 趋势 。 智 慧 医 疗 是 贯彻 实施 医疗 
产业 信息 化 的 重要 手段 ， 也 是 智慧 城市 建设 的 重要 内 容 。 智 慧 医疗 在 未 来 的 一 段 时 间 内 将 迎 来 爆发 式 增长 。 


从 人 才 的 角度 来 思考 ， 国 内 的 医疗 信息 学 已 经 作为 一 门 独立 的 学 科 存 在 ， 是 将 医学 与 信息 化 技术 结合 的 一 门 学 科 ， 有 着 大 量 
的 人 才 和 资源 投入 ， 为 智慧 医疗 的 进一步 发 展 提供 了 人 才 保 证 。 


虽然 如 此 ， 我 国 的 智慧 医疗 建设 仍然 存在 一 些 不 足 。 例 如 健康 管理 还 未 真正 地 普及 。 随 着 人 们 生活 水 平 的 提高 ， 人 们 对 自身 


人 AP 一 一 一 一 人 
4.5 ”智能 交通 云 平台 搭建 
为 了 解决 当前 的 道路 拥堵 问题 ， 智 能 交通 的 建设 是 一 个 必然 趋势 。 本 节 首 先 介绍 当前 的 城市 交通 面临 的 问题 ， 进 而 引出 智能 
交通 云 的 概念 。 然 后 曾 述 智能 交通 云 平台 框架 和 建设 内 容 ， 最 后 结合 国外 的 发 展 经 验 ， 思 考 国内 交通 未 来 的 发 展 方向 。 
4.5.1 ”智能 交通 云 背 景 


近年 来 ， 随 着 城市 经 济 的 快速 发 展 和 人 民生 活水 平 的 不 断 提 高 ， 机 动车 数量 急剧 增长 ， 使 得 发 展 相 对 滞后 的 道路 建设 难以 满 
足 需要 ， 道 路 交通 拥堵 问题 日 益 严 重 ， 引 起 了 社会 各 界 的 广泛 关注 。 


交通 拥堵 早已 是 大 城市 的 通病 。 政 府 决策 者 也 出 台 了 相应 的 策略 来 限制 机 动车 数量 ， 如 摇号 等 策略 ， 但 是 交通 状况 仍 是 起 色 
不 大 。 瑞 银 集团 曾 对 超大 型 的 城市 交通 进行 了 调查 ， 中 国 城市 的 平均 行车 速度 全 球 最 慢 。 那 么 其 他 国家 是 如 何 解决 城市 交通 拥堵 
难题 的 呢 ? 国外 一 些 国家 也 曾 通过 推出 出 行 方式 变革 、 加 强 基 础 设施 建设 、 出 台 相 关 法 律 等 措施 ， 但 收效 都 不 尽 人 意 ， 直 到 智能 
交通 的 出 现 ， 交 通 拥堵 情况 才 得 到 明显 改善 。 


智能 交通 是 建立 在 相对 完善 的 基础 设施 建设 基础 上 ， 将 信息 技术 、 通 信 技 术 、 传 感 技术 、 控 制 技术 运用 到 交通 管理 体系 中 ， 
从 而 建立 一 个 在 大 范围 、 全 方位 的 实时 、 准 确 、 高 效 的 综合 交通 管理 体系 ， 有 效 地 减少 了 交通 拥堵 。 


然而 传统 的 智能 交通 系统 ， 由 于 信息 化 改造 所 采用 的 设备 、 平 台 都 来 自 不 同 的 厂家， 融合 度 不 高 ， 无 法 进行 集中 化 管理 和 资 
源 的 统一 配置 。 智 能 交通 云 可 以 有 效 地 解决 这 一 问题 ， 不 仅 能 够 实现 数据 的 统一 存储， 而 且 通 过 大 数据 分 析 可 以 实现 更 加 高 效 的 
交通 管理 。 


4.5.2 ”智能 交通 云 框架 


智能 交通 云 框架 如 图 4.11 所 示 。 
1. 基 础 设施 层 


智能 交通 云 的 基础 设施 层 除 了 包含 基本 的 云 平台 设备 ， 如 云 服 务 器 、 云 存储 、 网 络 设备 等 之 外 ， 还 包括 城市 交通 网 中 的 信号 
灯 、122 报 警 服务 台 、 摄 像 头 、GPs 车 载 终 端 、 读 卡 器 、 可 变 限 速 牌 、 诱 导 屏 等 设备 。 


2. 平 台 服 务 层 


平台 服务 层 的 内 容 包括 大 数据 技术 平台 、 交 通 视 频 服务 分 析 平 台 、 时 空 分 析 服 务 平台 、 信 和 号 控制 服务 平台 、 违 章 智能 分 析 平 
台 和 车 辆 定位 服务 平台 等 。 


指挥 中 心 ”是 电 子 警 察 系统 是 交 通 监控 系统 


交通 信号 控制 智能 公交 
交通 诱导 “是 ”违章 抓拍 eye 


智能 运输 智能 停车 


汀 次 沼 习 民 


DE i 

术 平 台 分 析 平 台 服务 平台 
信号 控制 违章 智能 车 辆 定位 
服务 平台 分 析 平 台 


数据 管理 平台 


江 效 肖 共 瞳 


云 平台 基础 设施 : 国 国 三 明芳 天生 六: 

云 服务 器 信 3 困 

网 络 设备 122 报 警 服务 台 
诱导 屏 等 


油 臣 中 间 采 


图 4-11 智能 交通 云 框 架 


2 应 田 归 杀 局 
3. 应 用 服务 | 


智能 交通 云 的 应 用 服务 层 包括 指挥 中 心 、 电 子 警察 系统 、 交 通 监控 系统 、 交 通信 号 控制 系统 、 治 安 卡 口 系统 、 智 能 公交 系 
统 、 交 通 诱导 系统 、 违 章 抓 拍 系统 、 交 通信 息 发 布 系统 、 智 能 运输 和 智能 停车 等 。 


下 面 对 智 能 交通 云 的 几 个 主要 建设 内 容 进行 介绍 。 
1. 指 挥 中 心 应 急 处 理 


指挥 中 心 应 急 处 理 是 交通 管理 体系 的 重要 职责 之 一 。 如 何 能 够 快速 地 定位 事故 现场 ， 协 调 相 关 部 门 迅速 参与 应 急 工 作 ， 减 少 
人 员 和 财产 损失 ， 迅 速 踊 通道 路 ， 降 低 应 急事 件 的 影响 ， 是 指挥 中 心 的 重要 功能 。 


当 警 报 某 位 置 有 事故 且 情 况 紧急 时 ， 指 挥 中 心 能 够 迅速 对 事故 现场 进行 定位 ， 并 将 大 屏幕 切换 到 离 事故 现场 最 近 的 几 个 视频 
监控 ， 启 动 应 急 预 案 。 指 挥 中 心 在 将 紧急 情况 上 报 上 级 政府 、 专 家 的 同时 ， 联 动 几 个 协同 部 门 ， 如 消防 、 医 疗 、 后 勤 、 武 警 、 媒 
体 等 ， 迅 速 展开 讨论 并 进行 决策 。 讨 论 的 同时 ， 调 度 最 近 的 应 急 指 挥 车 辆 和 交警 赶 往事 故 现场 ， 并 将 事故 处 理 现场 通过 视频 图 像 
和 现场 情况 传 回 指挥 中 心 ， 辅 助 决策 。 决 策 完成 后 ， 相 关 部 门 迅速 赶 往 现 场 ， 同 时 交警 对 道路 实施 交通 管制 。 指 挥 中 心 发 布 交通 
管制 信息 ， 提 醒 驾 驶 人 员 绕 行 。 事 故 处 理 完成 后 ， 现 场 交 警 人员 进 行车 辆 玻 通 ， 并 通过 媒体 和 诱导 显示 屏 的 方式 ， 发 送 交 通 管制 
取消 的 信息 。 


通过 指挥 中 心 的 协调 功能 ， 能 够 迅速 对 应 急事 故 进 行 处 理 ， 减 少 突 发 事件 带 来 的 损失 ， 更 好 地 为 政府 和 社会 服务 。 


智能 公交 的 建设 目标 是 利用 GPS、 北 斗 、 无 线 网 络 通信 、G1S 地 理 信息 技术 ， 实 现 城市 公共 交通 管理 规范 化 、 运 行 监督 自动 
化 、 决 策 科 学 化 、 运 营 调 度 合理 化 、 信 息 服 务 一 体 化 ， 全 面 提升 城市 公共 交通 的 服务 和 管理 水 平 ， 保 证 市 民 出 行 的 安全 、 便 捷 、 
环保 。 


我 国 目 前 主要 的 公共 交通 工具 包括 轨道 交通 、 公 共 汽 车 、 出 租车 等 系统 ， 其 中 公共 汽车 仍然 是 大 部 分 城市 居民 出 行 的 主要 交 
通 工 具 。 我 们 以 公共 汽车 为 例 介绍 智能 公交 的 建设 内 容 。 


传统 的 公交 车 辆 调度 是 根据 车 辆 进出 站 的 情况 来 判断 线路 状况 ， 然 后 适当 地 增加 或 减少 公交 和 车辆。 智能 交通 提供 的 智能 调度 
功能 可 以 通过 摄像 头 、 红 外 传感器 等 设备 实时 掌握 线路 车 辆 的 运营 情况 ， 如 图 4.12 所 示 。 


根据 运营 情况 ， 准 确 地 发 送 调度 指令 ， 调 整 行车 时 间 ， 增 加 或 取消 车 次 ， 不 仅 能 够 提高 车 辆 的 利用 率 ， 而 且 提高 了 乘 车 舒适 
度 ， 增 加 了 城市 公共 交通 的 吸引 力 。 而 且 监 控 中 心 通过 对 客流 数量 的 长 时 间 统计 分 析 ， 能 够 准确 地 了 解 各 路 段 的 拥挤 程度 ， 为 公 
交 公司 的 调度 车 辆 和 线路 优化 提供 数据 支撑 。 


市 民 可 以 通过 手机 App 对 公交 线路 的 运行 情况 进行 实时 查询 ,方便 出 行 。 公 交 车 内 使 用 无 死角 视频 监控 系统 ， 以 保障 乘客 的 
人 身 财产 安全 。 公 交 公 司 对 和 车辆 运行 情况 (如 车 速 、 位 置 、 行 驶 路 线 等 ) 进行 实时 监控 ， 可 以 作为 对 公交 司机 的 考核 依据 ， 并 且 
可 以 根据 定位 系统 和 视频 监控 ， 实 现 按 路 段 收费 。 


解决 交通 拥堵 情况 ， 智 能 信号 灯 的 应 用 是 一 个 重要 途径 。 传 统 的 交通 信号 灯 需 要 对 时 长 进行 预 设置 ， 一 旦 设置 完成 后 ,不 能 
随 着 车 流量 进行 实时 调整 。 而 智能 信号 灯 可 以 车 流量 、 时 间 段 对 信号 灯 时 长 进行 动态 调整 ， 而 且 相 邻 信号 灯 之 间 可 以 互相 通信 , 
使 交通 秩序 变 得 高 度 协调 ， 如 图 4.13 所 示 。 


仿 


智能 信号 灯 多 采用 视频 图 像 采 集 设 备 ， 收 集 机 动车 流量 、 车 头 间距 和 车 道 占有 率 等 信息 ， 并 实时 传输 到 路 口交 通信 号 机 上 ， 
在 保证 行人 和 非 机 动车 辆 安全 通行 的 前 提 下 ， 动 态 调整 红绿灯 的 时 长 。 假 如 检测 到 当前 放行 方向 车 辆 仍然 较 多 ， 可 适当 延长 绿灯 
时 间 ， 当 检测 到 当前 放行 方向 无 车 或 车 辆 距离 较 大 时 ， 可 转 为 红 灯 ， 放 行 其 他 方向 车 辆 。 


智能 交通 诱导 是 提升 城市 道路 交通 效率 的 重要 手段 。 智 能 交通 诱导 系统 是 通过 GPS 导 航 和 现代 无 线 通信 技术 的 集成 ， 有 效 地 
引导 车 辆 运行 ， 舒 组 交通 压力 ， 提 高 道路 交通 的 服务 质量 。 智 能 交通 诱导 的 方式 有 车 载 终端 、 电 台 、 网 络 、 外 场 诱导 显示 设备 
(可 变 交通 信息 板 和 交通 诱导 显示 屏 ) 等 ， 如 图 4.14 所 示 为 智能 交通 诱导 显示 板 。 


官 园 桥 花园 桥 


西直门 桥 党 


智能 交通 诱导 不 仅 能 够 为 驾驶 员 提供 实时 的 路 线 指引 ， 有 效 地 避 开 道路 拥堵 路 段 ， 而 且 能 够 为 用 户 出 行 制 定 最 优 的 路 线 计 
划 ， 极 大 方便 了 出 行者 。 


4.5.4 智能 交通 云 的 发 展 
智能 交通 是 全 世界 都 在 探索 的 重点 课题 之 一 ， 在 当前 全 世界 都 面临 的 交通 拥堵 的 情况 下 尤 显 重要 。 国 外 的 交通 建设 比 国内 开 
展 较 早 ， 通 过 对 国外 智能 交通 文献 的 研究 ， 笔 者 认为 未 来 的 智能 交通 云 将 具有 以 下 两 个 特点 。 


. 依靠 物 联 网 、 云 计算 等 先进 技术 手段 ， 能 够 让 市 民 即 时 、 准 确 地 获取 到 实时 的 交通 信息 ， 最 终 实现 各 种 交通 信息 在 人 、 
车 、 路 之 间 相 互 传递 ， 改 变 以 往 的 信息 推送 服务 模式 ， 实 现 交通 信息 无 处 不 在 的 目标 。 


* 利用 大 数据 分 析 技 术 进 行 交通 预测 ， 判 断交 通 发 展 态势 ， 为 市 民 的 出 行 提 供 可 靠 而 准确 的 指导 ， 实 现 交 通 资源 利用 率 的 最 
大 化 。 


4.6 “本章 小 结 


本 章 先 介绍 了 云 平 台 的 基础 建设 ， 包 括 云 服务 器 、 云 存储 、 高 速 光纤 网 络 、 云 数据 中 心 等 内 容 ， 然 后 重点 介绍 了 智慧 校园 
云 、 智 慧 城市 云 、 智 慧 医疗 云 、 智 能 交通 云 的 概念 、 框 架 、 建 设 内 容 以 未 来 发 展 方向 。 


1. 么 是 云 服务 器 ?什么 是 云 人 存储? 

2. 慧 校园 云 的 应 用 服务 层 包 括 哪些 内 容 ? 

3. 慧 城市 云 的 概念 是 什么 ? 

4. 慧 医疗 云 解决 了 哪些 传统 医疗 中 存在 的 问题 ? 


5. 么 是 智慧 交通 云 ? 智慧 交通 云 的 优势 有 哪些 ? 


第 5 草 ”大 数据 基础 


物 联网 领域 中 的 某 些 应 用 环境 ， 有 可 能 会 面临 海量 数据 的 场景 。 本 章 便 引领 大 家 了 解 一 下 物 联网 分 析 技术 之 一 的 大 数据 技 
术 。 大 数据 技术 是 随 着 数据 量 急剧 膨胀 而 产生 的 对 海量 数据 的 使 用 和 提取 有 效 信息 的 一 种 方法 。 本 章 首先 讲解 其 理论 部 分 ， 后 面 
几 节 将 介绍 大 数据 处 理 技术 在 各 个 领域 中 的 应 用 。 


5.1 数据 仓库 


数据 仓库 是 大 数据 分 析 的 基础 ， 本 节 带 大 家 了 解 一 下 数据 仓库 的 历史 和 定义 。 


5.1.1 ”从 数据 库 到 数据 仓库 


1 数据 库 的 “分 家 ” 


随 着 关系 数据 库 理论 的 提出 ， 诞 生 了 一 系列 经 典 的 RDBMS (关系 数据 库 管 理 系统 ) ， 如 Oracle、MySQL 和 SQL Server 
等 。 这 些 RDBMS 被 成 功 推 向 市 场 ， 并 为 社会 信息 化 的 发 展 做 出 了 重大 贡献 。 然 而 随 着 数据 库 使 用 范围 的 不 断 扩大 ， 它 被 逐步 划 
分 为 两 大 基本 类 型 。 


1) 操作 型 数据 库 


操作 型 数据 库 用 于 业务 支撑 ， 主 要 是 基本 的 日 常事 务 处 理 。 一 个 企业 、 公 司 或 组 织 往往 会 使 用 并 维护 若干 个 数据 库 ， 这 些 数 
据 库 保存 着 用 户 的 日 常 操作 数据 ， 如 商品 购买 、 酒 店 预订 和 学 生成 绩 录 入 等 。 


2) 分 析 型 数据 库 


分 析 型 数据 库 用 于 历史 数据 分 析 。 这 类 数据 库 作 为 企业 、 单 位 或 组 织 的 单独 数据 存储 ， 负 责 利 用 历史 数据 对 用 户 各 主题 域 进 
行 统计 分 析 。 


数据 库 为 什么 要 “分 家 ”? 在 一 起 不 合适 吗 ? 能 不 能 构建 一 个 同样 适用 于 操作 和 分 析 的 统一 数据 库 ? 


答案 是 NO。 一 个 重要 的 原因 是 它们 会 “打架 。”。 如 果 操 作 型 任务 和 分 析 型 任务 抢 资 源 怎么 办 呢 ? 并 且 操 作 型 数据 库 和 分 析 
型 数据 库 有 太 多 不 同 之 处 ， 以 至 于 早已 “ 貌 合 神 离 ”。 接 下 来 看 看 它们 到 底 有 哪些 不 同 。 


2. 操 作 型 数据 库 与 分 析 型 数据 库 的 区 别 


因为 主导 功能 的 不 同 (面向 操作 /面向 分 析 ) ， 两 类 数据 库 就 产生 了 很 多 细节 上 的 差异 。 就 好 像 同样 是 人 ， 一 位 公司 白领 和 
一 位 农民 ， 他 们 肯定 有 很 多 行为 和 观念 上 的 不 同 。 


1) 数据 组 成 差别 一 一 数据 时 间 范 围 差别 


一 般 来 讲 ， 操 作 型 数据 库 只 会 存放 90 天 以 内 的 数据 ， 而 分 析 型 数据 库存 放 的 则 是 数 年 内 的 数据 。 这 一 点 也 是 将 操作 型 数据 
和 分 析 型 数据 进行 物理 分 离 的 主要 原因 。 


2) 数据 组 成 差别 一 一 数据 细节 层次 差别 


操作 型 数据 库存 放 的 主要 是 细节 数据 ， 而 分 析 型 数据 库 中 既 有 细节 数据 ， 又 有 汇总 数据 ， 但 对 于 用 户 来 说 ， 重 点 关注 的 是 汇 
总 数据 部 分 。 


操作 型 数据 库 中 自然 也 有 汇总 需求 ， 但 不 存储 汇总 数据 本 身 而 只 存储 其 生成 公式 。 这 是 因为 操作 型 数据 是 动态 变化 的 ， 因 此 
汇总 数据 会 在 每 次 查询 时 动态 生成 。 


对 于 分 析 型 数据 库 来 说 ， 因 为 汇总 数据 比较 稳定 ， 不 会 发 生 改变 ， 而 且 其 计算 量 也 比较 大 (因为 时 间 跨 度 大 ) ， 因 此 它 的 汇 
总 数据 可 考虑 事先 计算 好 ， 以 避免 重复 计算 。 


3) 数据 组 成 差别 一 一 数据 时 间 表示 差别 


操作 型 数据 通常 反映 的 是 现实 世界 的 当前 状态 ; 而 分 析 型 数据 库 既 有 当前 状态 ,还 有 过 去 各 时 刻 的 快照 ， 分 析 型 数据 库 的 使 
用 者 可 以 综合 所 有 快照 对 各 个 历史 阶段 进行 统计 分 析 。 


4) 技术 差别 一 一 查询 数据 总 量 和 查询 频 度 差别 


操作 型 数据 库 查 询 的 数据 量 少 但 频率 多 ， 分 析 型 数据 库 查 询 则 相反 ， 查 询 的 数据 量 大 但 频率 少 。 要 想 同 时 实现 这 两 种 情况 的 
配置 优化 是 不 可 能 的 ， 这 也 是 将 两 类 数据 库 物 理 分 隔 的 原因 之 一 。 


5) 技术 差别 一 一 数据 更 新 差别 
操作 型 数据 库 允 许 用 户 进行 增加 、 删 除 、 修 改 、 查 询 的 操作 ; 分 析 型 数据 库 则 只 能 允许 进行 查询 。 
6) 技术 差别 一 一 数据 元 余 差 别 


数据 的 意义 是 什么 ? 就 是 减少 数据 元 余 ， 避 免 更 新 异常 。 而 如 上 面 第 5 点 所 述 ,分析 型 数据 库 中 没有 修改 (更新) 操作 ， 
此 减少 数据 元 余 也 就 没 那么 重要 了 。 


现在 回答 另 一 个 问题 : “ 某 大 公司 Hadoop Hive 里 的 关系 表 不 完全 满足 完整 /参照 性 约束 ， 也 不 完全 满足 范式 要 求 ， 甚 至 第 
一 范式 都 不 满足 。 这 种 情况 正常 吗 ?”” 回答 是 正常 的 。 因 为 Hive 是 一 种 数据 仓库 ， 而 数据 仓库 和 分 析 型 数据 库 的 关系 非常 紧密 
(后 面 会 讲 到 ) 。 它 只 提供 查询 接口 ， 不 提供 更 新 接口 ， 这 就 使 得 消除 元 余 的 诸多 措施 不 需要 被 特别 严格 地 执行 了 。 


7) 功能 差别 一 一 数据 使 用 者 差别 


操作 型 数据 库 的 使 用 者 是 业务 环境 内 的 各 个 角色 ， 如 用 户 、 商 家 和 进货 商 等 ; 分析 型 数据 库 则 只 被 少量 用 户 用 来 做 综合 性 决 


8) 功能 差别 一 一 数据 定位 差别 


这 里 说 的 定位 ， 主 要 是 指数 据 库 以 何 种 目的 组 织 起 来 。 操 作 型 数据 库 是 为 了 支撑 具体 业务 创建 的 ， 也 被 称 为 “面向 应 用 型 数 
据 库 ”; 分 析 型 数据 库 则 是 针对 各 特定 业务 主题 域 的 分 析 任务 创建 的 ， 因 此 也 被 称 为 “面向 主题 型 数据 库 ”。 


3 .数据 库 和 数据 仓库 的 区 别 
数据 库 : 传统 的 关系 型 数据 库 的 应 用 ， 主 要 是 基本 的 、 日 常 的 事务 处 理 ， 如 银行 交易 。 


数据 仓库 : 数据 仓库 系统 的 应 用 主要 是 OLAP (On-Line Analytical Processing) ， 支 持 复杂 的 分 析 操 作 ， 侧 重 决策 支持 ， 
并 且 提 供 直观 、 易 懂 的 查询 结果 。 


下 面 举 个 最 常见 的 例子 (以 电 高 行业 为 例 ) ， 帮 助 大 家 理解 。 

基本 每 家 电 商 公司 都 会 经 历 从 只 需要 业务 数据 库 到 需要 数据 仓库 的 阶段 。 电 商 早 期 启动 非常 容易 ， 入 行 门槛 低 ， 找 一 个 外 包 
团队 ， 做 一 个 可 以 下 单 的 网 页 前 端 + 几 人 台 服 务 器 + 一 个 MySQL， 就 可 以 开门 迎 客 了 。 这 一 阶段 好 比 手工 作坊 时 期 。 

第 二 阶段 : 流量 来 了 。 客 户 和 订单 都 多 起 来 了 ， 普 通 查询 已 经 有 压力 了 ， 这 个 时 候 就 需要 升级 架构 变 成 多 人 台 服 务 器 和 多 个 业 
务 数 据 库 ( 量 大 + 分 库 分 表 ) ， 这 个 阶段 的 业务 数字 和 指标 还 可 以 勉强 从 业务 数据 库 里 查询 。 这 一 阶段 初步 进入 工业 化 。 


第 三 个 阶段 ， 一 般 需 要 3 ~ 5 年 左右 的 时 间 。 随 着 业务 指数 级 的 增长 ， 数 据 量 的 陡 增 ， 公 司 角色 也 开始 多 了 起 来 ， 开 始 有 了 
CEO、CMO、CIO， 大 家 需要 面临 的 问题 越 来 越 复 杂 ， 越 来 越 深 入 。 高 管 们 关心 的 问题 从 最 初 非常 “粗放 ”的 : “昨天 的 收入 
是 多 少 ”“ 上 个 月 的 PV (访问 量 ) 、UV (独立 访客 ) 是 多 少 ”， 逐 渐 演 化 到 非常 精细 化 和 具体 的 用 户 集群 分 析 ， 如 “20~30 岁 
女性 用 户 在 过 去 五 年 的 第 一 季度 化 妆 品 类 商品 的 购买 行为 与 公司 进行 的 促销 活动 方案 之 间 的 关系 ”。 


这 类 非常 具体 ， 且 能 够 对 公司 决策 起 到 关键 性 作用 的 问题 ， 基 本 很 难 从 业务 数据 库 中 调 取出 来 。 原 因 在 于 : 业务 数据 库 中 的 
数据 结构 是 为 了 完成 交易 而 设计 的 ， 不 是 为 了 查询 和 分 析 的 便利 而 设计 的 。 业 务 数据 库 大 多 是 读 写 优化 的 ， 即 又 要 读 (查看 商品 
信息 ) ， 也 要 写 (产生 订单 、 完 成 支付 ) 。 因 此 对 于 大 量 数据 的 读 (查询 指标 ,一般 是 复杂 的 只 读 类 型 查询 ) 是 支持 不 足 的 。 而 
怎么 解决 这 个 问题 ， 此 时 就 需要 建立 一 个 数据 仓库 了 ， 而 公司 也 算 开始 进入 信息 化 阶段 。 数 据 仓库 的 作用 在 于 : 数据 结构 为 了 分 
析 和 查询 的 便利 ; 只 读 优 化 的 数据 库 ， 即 不 需要 写 入 速度 多 么 快 ， 只 要 做 大 量 数 据 的 复杂 查询 的 速度 足够 快 就 可 以 了 。 那 么 在 这 
里 前 一 种 业务 数据 库 ( 读 写 都 优化 ) 就 是 业务 性 数据 库 ， 后 一 种 则 是 分 析 性 数据 库 ， 即 数据 仓库 。 


5.1.2 ”数据 仓库 的 定义 


20 世 纪 80 年 代 中 期 ，“ 数 据 仓库 之 父 ”Wiliam H.Inmon 先 生 在 其 《建立 数据 仓库 》 一 书 中 定义 了 数据 仓库 的 概念 ， 随 后 
又 给 出 了 更 为 精确 的 定义 : 数据 仓库 是 在 企业 管理 和 决策 中 面向 主题 的 、 集 成 的 、 与 时 间 相 关 的 、 不 可 修改 的 数据 集合 。 与 其 他 
数据 库 应 用 不 同 的 是 ， 数 据 仓库 更 像 一 种 过 程 ， 是 对 分 布 在 企业 内 部 各 处 的 业务 数据 的 整合 、 加 工 和 分 析 的 过 程 ， 而 不 是 一 种 可 
以 购买 的 产品 。 


数据 仓库 有 如 下 特点 : 


面向 主题 特性 是 数据 仓库 和 操作 型 数据 库 的 根本 区 别 。 操 作 型 数据 库 是 为 了 支撑 各 种 业务 而 建立 的 ， 而 分 析 型 数据 库 则 是 
为 了 对 从 各 种 繁杂 业务 中 抽象 出 来 的 分 析 主 题 (如 用 户 、 成 本 、 商 品 等 ) 进行 分 析 而 建立 的 。 


* 集成 性 是 指数 据 仓 库 会 将 不 同 源 数据 库 中 的 数据 汇总 到 一 起 。 
" 数据 仓库 内 的 数据 是 面向 公司 全 局 的 。 例 如 某 个 主题 域 为 成 本 ， 则 全 公司 和 成 本 有 关 的 信息 都 会 被 汇集 进来 。 
* 相 比 操作 型 数据 库 ， 数 据 仓 库 的 时 间 跨 度 通 常 比较 长 。 前 者 通常 保存 几 个 月 ， 后 者 可 能 几 年 甚至 几 十 年 。 


时 变性 是 指数 据 仓库 包含 来 自 其 时 间 范 围 不 同时 间 段 的 数据 快照 。 有 了 这 些 数据 快照 以 后 ， 用 户 便 可 将 其 汇总 ， 生 成 各 历史 
阶段 的 数据 分 析 报 告 。 


5.1.3 ”数据 仓库 的 组 成 


数据 仓库 的 核心 组 件 有 4 个 : 各 个 源 数据 库 、ETL (数据 仓库 技术 ) 、 数 据 仓 库 和 前 端 应 用 ， 如 图 5.1 所 示 。 


业务 数据 
二 一 
数据 仓库 
— 


业务 数据 C 


业务 系统 包含 各 种 源 数 据 库 ， 这 些 源 数 据 库 既 为 业务 系统 提供 数据 支撑 ， 同 时 也 作为 数据 仓库 的 数据 源 (除了 业务 系统 ， 数 
据 仓 库 也 可 从 其 他 外 部 数据 源 获取 数据 ) 。 


图 5-1 数据 仓库 的 组 成 


数据 仓库 是 整个 数据 仓库 环境 的 核心 ， 是 数据 存放 的 地 方 和 提供 对 数据 检索 的 支持 。 相 对 于 操纵 型 数据 库 来 说 ， 其 突出 的 特 
点 是 对 海量 数据 的 支持 和 快速 的 检索 技术 。 


ETL 数 据 提取 (Extract) 、 转 换 (Transform) 、 清 洗 (Cleansing) 、 加 载 (Load) 的 过 程 是 构建 数据 仓库 的 重要 一 环 ， 
用 户 从 数据 源 中 抽取 出 所 需 的 数据 ， 经 过 数据 清洗 ， 最 终 按照 预先 定义 好 的 数据 仓库 模型 ， 将 数据 加 载 到 数据 仓库 中 。 


其 中 ， 提 取 过 程 表示 操作 型 数据 库 搜集 指定 数据 。 转 换 过 程 表示 将 数据 转化 为 指定 格式 并 进行 数据 清洗 保证 数据 质量 。 数 据 
转换 过 程 包括 删除 对 决策 应 用 没有 意义 的 数据 段 ; 转换 到 统一 的 数据 名 称 和 定义 ; 计算 统计 和 衍生 数据 ; 给 缺 值 数 据 赋予 默认 
值 ; 把 不 同 的 数据 定义 方式 进行 统一 。 加 载 过 程 表示 将 转换 过 后 满足 指定 格式 的 数据 加 载 进 数据 仓库 。 数 据 仓库 会 周期 不 断 地 从 
源 数据 库 提取 清洗 好 的 数据 ， 因 此 也 被 称 为 “目标 系统 ”。 


5.2 ”数据 挖掘 


数据 挖掘 既是 建立 数据 仓库 的 方法 ， 也 是 使 用 和 分 析 数 据 的 方法 ， 本 节 主 要 介绍 数据 挖掘 的 知识 。 


5.2.1 ”什么 是 数据 挖掘 


数据 挖掘 是 在 大 型 数据 存储 库 中 ， 自 动 地 发 现 有 用 信息 的 过 程 。 数 据 挖掘 技术 用 来 探查 大 型 数据 库 ， 发 现 先前 未 知 的 有 用 模 
式 。 数 据 挖 掘 还 可 以 预测 未 来 观测 结果 ， 例 如 ， 预 测 一 位 新 的 顾客 是 否 会 在 一 家 百货 公司 消费 100 美 元 以 上 。 


并 非 所 有 的 信息 发 现任 务 都 被 视 为 数据 挖掘 。 例 如 ， 使 用 数据 库 管 理 系统 查找 个 别 的 记录 ， 或 通过 互联 网 的 搜索 引 警 查找 特 
定 的 Web 页 面 ， 则 是 信息 检索 (Information Retrieval) 领域 的 任务 。 虽 然 这 些 任务 非常 重要 ， 可 能 涉及 使 用 复杂 的 算法 和 数 
据 结 构 ， 但 是 它们 主要 依赖 传统 的 计算 机 科学 技术 和 数据 的 明显 特征 来 创建 索引 结构 ， 从 而 有 效 地 组 织 和 检索 信息 。 尽 管 如 此 ， 
人 们 也 在 利用 数据 挖掘 技术 来 增强 信息 检索 系统 的 能 


数据 挖掘 是 数据 库 中 知识 发 现 (Knowledge Discovery in Database，KDD) 不 可 缺少 的 一 部 分 ， 而 KDD 是 将 未 加 工 的 数 
据 转 换 为 有 用 信息 的 整个 过 程 ， 如 图 5.2 所 示 。 该 过 程 包括 一 系列 转换 步骤 ， 从 数据 的 预 处 理 到 数据 挖掘 结果 的 后 处 理 。 


输入 数据 信息 
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图 5-2” 数据库 中 的 知识 发 现 (KDD) 过 程 


输入 数据 可 以 以 各 种 形式 存储 (如 平展 文件 、 电 子 数据 表 或 关系 表 ) ， 并 且 可 以 驻 留 在 集中 的 数据 存储 库 中 ， 或 分 布 在 多 个 
站 点 上 。 数 据 预 处 理 (Preprocessing) 的 目的 是 将 未 加 工 的 输入 数据 转换 成 适合 分 析 的 形式 。 数 据 预 处 理 涉及 的 步骤 包括 融合 
来 自 多 个 数据 源 的 数据 (参考 图 5.1) ， 清 洗 数 据 以 消除 噪声 和 重复 的 观测 值 ， 选 择 与 当前 数据 挖掘 任务 相关 的 记录 和 特征 。 由 
于 收集 和 存储 数据 的 方式 多 种 多 样 ， 数 据 预 处 理 可 能 是 整个 知识 发 现 过 程 中 最 费力 、 最 耗 时 的 步骤 。 


结束 循环 (Closing the Loop) 通常 指 将 数据 挖掘 结果 集成 到 决策 支持 系统 的 过 程 。 例 如 ， 在 商业 应 用 中 ， 数 据 挖 掘 的 结 
果 所 揭示 的 规律 可 以 结合 商业 活动 管理 工具 ， 从 而 开展 或 测试 有 效 的 商品 促销 活动 。 这 样 的 结合 需要 后 处 理 (Post 
Processing) 步骤 ,确保 只 将 那些 有 效 的 和 有 用 的 结果 集成 到 决策 支持 系统 中 。 后 处 理 的 一 个 例子 是 可 视 化 ， 它 使 得 数据 分 析 
者 可 以 从 各 种 不 同 的 视角 探查 数据 和 数据 挖掘 结果 。 在 后 处 理 阶 段 ， 还 能 使 用 统计 度量 或 假设 检验 ， 删 除 虚假 的 数据 挖掘 结果 。 


5.2.2 ”数据 挖掘 要 解决 的 问题 


前 面 提 到 ， 面 临 新 的 数据 集 带 来 的 问题 时 ， 传 统 的 数据 分 析 技 术 常 常 遇 到 实际 困难 。 下 面 是 一 些 数据 挖掘 面临 的 具体 问题 。 


1. 可 伸缩 性 


由 于 数据 产生 和 收集 技术 的 进步 ， 数 吉 字 节 、 数 太 字 节 、 数 拍 字 节 的 数据 集 越 来 越 普遍 。 如 果 数 据 挖 掘 算法 要 处 理 这 些 海量 
数据 集 ， 则 算法 必须 是 可 伸缩 的 〈Scalable) 。 许 多 数据 挖掘 算法 使 用 特殊 的 搜索 策略 处 理 指数 级 搜索 问题 。 为 实现 可 伸缩 可 能 
还 需要 实现 新 的 数据 结构 ， 才 能 以 有 效 的 方式 访问 每 个 记录 。 例 如 ， 当 要 处 理 的 数据 不 能 放 进 内 存 时 ， 可 能 需要 非 内 存 算法 。 使 
用 抽样 技术 或 并 行 开 发 和 分 布 算 法 也 可 以 提高 数据 的 可 伸缩 程度 。 


2. 高 维 性 


大 数据 时 代 下 ， 常 会 遇 到 具有 成 百 上 干 属性 的 数据 集 ， 而 不 是 几 十 年 前 只 具有 少量 属性 的 数据 集 。 在 生物 信息 学 领域 ， 微 阵 
列 技术 的 进步 己 经 产生 了 涉及 数 干 特征 的 基因 表达 数据 。 具 有 时 间或 空间 分 量 的 数据 集 也 经 常 具有 很 高 的 维度 。 例 如 ， 考 虑 包含 
不 同 地 区 的 温度 测量 结果 的 数据 集 ， 如 果 在 一 个 相当 长 的 时 间 周 期 内 反复 地 测量 ， 则 维度 (特征 数 ) 的 增长 正比 于 测量 的 次 数 ， 
而 为 低 维 数据 开发 的 传统 的 数据 分 析 技 术 ， 通 常 不 能 很 好 地 处 理 这 样 的 高 维 数据 。 此 外 ， 对 于 某 些 数 据 分 析 算 法 ， 随 着 维度 ( 特 
征 数 ) 的 增加 ， 计 算 复杂 度 也 在 迅速 增加 。 


3. 异 种 数据 和 复杂 数据 


传统 的 数据 分 析 方 法 通常 只 处 理 包含 相同 类 型 属性 的 数据 集 ， 或 者 是 连续 的 ， 或 者 是 分 类 的 。 随 着 数据 挖掘 在 商务 、 科 学 、 
医学 和 其 他 领域 的 作用 越 来 越 大 ， 越 来 越 需要 能 够 处 理 异种 属性 的 技术 。 近 年 来 已 经 出 现 了 更 复杂 的 数据 对 象 。 这 些 非 传统 的 数 
据 类 型 的 例子 有 : 含有 半 结 构 化 文本 和 超 链 接 的 Web 页 面 集 、 具 有 序列 和 三 维 结构 的 DNA 数 据 、 包 含 地 球 表面 不 同位 置 上 的 时 
间 序 列 测量 值 (温度 、 气 压 等 ) 的 气象 数据 。 为 挖掘 这 种 复杂 对 象 而 开发 的 技术 应 当 考虑 数据 中 的 联系 ， 如 时 间 和 空间 的 自 相关 
性 、 图 的 连通 性 、 半 结构 化 文本 和 XML 文档 中 元 素 之 间 的 父子 联系 。 


4 .数据 的 所 有 权 与 分 布 


有 时 需要 分 析 的 数据 并 非 存 放 在 一 个 站 点 或 归属 一 个 机 构 ， 而 是 地 理 上 分 布 在 属于 多 个 机 构 的 资源 中 。 这 就 需要 开发 分 布 式 
数据 挖掘 技术 。 分 布 式 数据 挖掘 算法 面临 的 主要 挑战 包括 : 如 何 降低 执行 分 布 式 计 算 所 需 的 通信 量 ; 如何 有 效 地 统一 从 多 个 资源 
得 到 数据 挖掘 结果 ; 以 及 如 何 处 理 数 据 安全 性 问题 。 


5. 非 传统 的 分 析 


传统 的 统计 方法 基于 一 种 假设 检验 模式 ， 即 提出 一 种 假设 ， 设 计 实 验 来 收集 数据 ， 然 后 针对 假设 分 析 数 据 。 但 是 这 个 过 程 耗 
精力 。 当 前 的 数据 分 析 任务 常常 需要 产生 和 评估 数 干 种 假设 ， 因 此 需要 系统 能 自动 地 产生 和 评估 假设 ， 这 就 促使 人 们 开发 出 了 一 
些 数 据 挖掘 技术 。 此 外 ， 数 据 挖 握 所 分 析 的 数据 集 通 常 不 是 精心 设计 的 实验 结果 ， 并 且 它 们 通常 代表 数据 的 时 机 性 样本 

(Opportunistic sample) ， 而 不 是 随机 样本 (Random Sample) 。 而 且 ， 这 些 数据 集 常常 涉及 非 传统 的 数据 类 型 和 数据 分 
布 。 


5.2.3 ”数据 挖掘 的 任务 和 方法 


数据 挖掘 任务 通常 分 为 下 面 两 大 类 。 
1. 预 测 任务 


这 些 任务 的 目标 是 根据 其 他 属性 的 值 ， 预 测 特定 属性 的 值 。 被 预测 的 属性 一 般 称 为 目标 变量 (Target Variable) 或 因 变 量 
(Dependent Variable) ， 而 用 来 做 预测 的 属性 称 为 说 明 变 量 (Explanatory Variable) 或 自 变量 (Independent 
Variable) 。 


2. 描 述 任务 

描述 任务 的 目标 是 导出 概括 数据 中 潜在 联系 的 模式 相关、 趋势 、 聚 类 、 轨 迹 和 异常 ) 。 
本 质 上 ， 描 述 性 数据 挖掘 任务 通常 是 探查 性 的 ， 并 且 常 常 需要 后 处 理 技术 验证 和 解释 结果 。 
如 图 5.3 所 示 为 4 种 主要 数据 挖掘 任务 。 

1) 预测 建 模 (Predictive Modeling) 


预测 建 模 涉 及 以 说 明 变量 函数 的 方式 为 目标 变量 建立 模型 。 有 两 类 预测 建 模 任务 : 分 类 (Classification) ， 用 于 预测 离散 
的 目标 变量 ; 回归 (Regression) ， 用 于 预测 连续 的 目标 变量 。 例 如 ， 预 测 一 个 Web 用 户 是 否 会 在 网 上 书店 买书 是 分 类 任务 ， 
因为 该 目标 变量 是 二 值 的 ， 而 预测 某 股票 的 未 来 价格 则 是 回归 任务 ， 因 为 价格 具有 连续 值 属性 。 两 项 任务 目标 都 是 训练 一 个 模 
型 ， 使 目标 变量 预测 值 与 实际 值 之 间 的 误差 达到 最 小 。 预 测 建 模 可 以 用 来 确定 顾客 对 产品 促销 活动 的 反应 ， 预 测 地 球 生态 系统 的 
扰动 ， 或 根据 检查 结果 判断 病人 是 否 患 有 某 种 疾病 。 


A 


TOGTEE 


图 5-3 ”数据 挖掘 的 任务 


例 1 ”预测 花 的 类 型 。 考 虑 如 下 任务 : 根据 花 的 特征 ， 预 测 花 的 种 类 。 本 例 考 虑 根据 是 否 属于 Setosa、Versicolour 和 
Virginica 这 3 类 之 一 ， 对 营 尾 花 (Iris) 进行 分 类 。 为 进行 这 一 任务 ， 需 要 一 个 数据 集 ， 包 含 这 3 类 花 的 特性 。 具 有 这 类 信息 的 数 
据 集 是 著名 的 营 尾 花 数 据 集 ， 可 从 加 利 福 尼 亚 大 学 欧文 分 校 的 机 器 学 习 数 据 库 中 得 到 (http://www.ics.uci.edu/~mlearn) 。 
除了 人 花 的 种 类 之 外 ， 该 数据 集 还 包含 昔 片 宽度 、 苯 片 长 度 、 花 小 长 度 和 伦 淤 宽度 4 个 其 他 属性 。 如 图 5.4 给 出 了 膏 尾 花 数据 集中 
150 种 花 的 花 淤 宽度 与 花 儿 长度 的 对 比 图 。 花 激 宽 度 分 成 ow、medium、high 这 3 类 ， 分 别 对 应 于 区 间 [0，0.75) 、 
[0.75，1.75) 和 [1.75，co) 。 花 六 长 度 也 分 为 ow、medium 和 high 这 3 类 ， 分 别 对 应 于 区 间 [0，2.5) 、[2.5，5) 和 [5,%) 。 
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图 5-4 ”和 苗 尾 花 数 据 分 布 图 
根据 花 闪 宽度 和 长 度 的 这 些 类 别 ， 可 以 推出 如 下 规则 。 
" 花 准 宽度 和 花 准 长 度 为 low 剖 涵 Setosa。 


" 花 办 宽度 和 花 闪 长度 为 medium 列 涵 Vetsicolout。 


评 


* 花 准 宽度 和 花 闪 长 度 为 high 列 涵 Viteinica。 


评 


尽管 这 些 规则 不 能 对 所 有 的 花 进行 分 类 ， 但 是 己 经 可 以 对 大 多 数 的 花 很 好 地 进行 分 类 (尽管 不 完善 ) 。 注 意 : 根据 花瓣 宽度 


2) 关联 分 析 


关联 分 析 (Corrlation Analysis) 用 来 发 现 描述 数据 中 强 关 联 特 征 的 模式 。 所 发 现 的 模式 通常 用 蕴涵 规则 或 特征 子 集 的 形式 
表示 。 由 于 搜索 空间 是 指数 规模 的 ， 关 联 分 析 的 目标 是 以 有 效 的 方式 提取 最 有 趣 的 模式 。 关 联 分 析 的 应 用 包括 找 出 具有 相关 功能 
的 基因 组 、 识 别 用 户 一 起 访问 的 Web 页 面 、 理 解 地 球 气候 系统 不 同 元 素 之 间 的 联系 等 。 


例 2 ”购物 篮 分 析 。 表 5.1 给 出 的 是 在 一 家 杂货 店 收银 台 收 集 的 销售 数据 。 天 联 分 析 可 以 用 来 发 现 顾客 经 常 一 起 购买 的 商品 。 
例如 ,我们 可 能 会 发 现 规则 {尿布 }) 忆 {牛奶 }。 该 规则 暗示 购买 尿布 的 顾客 多 半 会 购买 牛奶 。 这 种 类 型 的 规则 可 以 用 来 发 现 各 类 商 
品 中 可 能 存在 的 交叉 销售 的 商机 。 


表 5.1 购物 篮 数据 


事 务 埋 品 
{ 面 包 ， 黄 油 ， 尿 布 ， 牛 奶 } 
{咖啡 ， 糖 ， 小 甜 忌 ， 鱼 鱼 } 
{ 面 包 ， 黄 油 ， 咖 啡 ， 尿 布 . 牛奶 ， 鸡 蛋 } 
{ 面 包 ， 黄 油 ， 链 鱼 ， 鸡 } 
{鸡蛋 ， 面 包 ， 黄 油 } 
{ 钙 鱼 ， 尿 布 ， 牛 奶 } 
{面包 ， 茶 ， 糖 ， 鸡 蛋 } 
{咖啡 ， 糖 ， 鸡 ， 鸡 蛋 } 
{面包 ， 尿布， 牛奶 ， 盐 } 
{ 茶 ， 鸡 蛋 ， 小 甜 忌 ， 尿布， 牛奶 } 
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3) 聚 类 分 析 


聚 类 分 析 (Cluster Analysis) 则 在 发 现 紧密 相关 的 观测 值 组 群 ， 使 得 与 属于 不 同 艇 的 观测 值 相 比 ， 属 于 同一 簇 的 观测 值 相 
互 之 间 尽 可 能 类 似 。 聚 类 可 用 来 对 相关 的 顾客 分 组 、 找 出 显著 影响 地 球 气候 的 海洋 区 域 及 压缩 数据 等 。 


例 3 ”文档 聚 类 。 如 表 5.2 给 出 的 新 闻 文章 可 以 根据 它们 各 自 的 主题 分 组 。 每 篇 文章 表示 为 词 ~ 频 率 对 (w，c) 的 集合 , 其 
中 w 是 词 ， 而 c 是 该 词 在 文章 中 出 现 的 次 数 。 在 该 数据 集中 有 两 个 自然 艇 。 第 一 个 簇 由 前 4 篇 文章 组 成 ， 对 应 于 经 济 新 闻 ， 而 第 二 
个 簇 包含 后 4 篇 文章 ， 对 应 于 卫生 保健 新 闻 。 一 个 好 的 聚 类 算法 应 当 能 够 根据 文章 中 出 现 的 词 的 相似 性 ， 识 别 这 两 个 艇 。 


表 5.2 新 闻 文 章 集合 
文 章 词 
1 dollar: 1， industry: 4, country: 2, loan: 3, deal: 2, government: 2 
machinery: 2, labor: 3, market: 4, industry 2, work: 3, country: 1 


Job: 5, inflation: 3, rise: 2, jobless: 2, market: 3, country: 2,index:3 


domestic: 3, forecast: 2, gain: ], market: 2, sale: 3, price: 2 


patient: 4, symptom: 2, drug: 3, health: 2, clinic: 2, doctor: 2 
pharmaceutical: 2, company: 3, drug: 2, vaccine: 1, flu:3 


death: 2, cancer: 4, drug: 3, public: 4. health: 3, director: 2 


oo |~1| 修 | 惟 | 上 lw | MP 


medical:2， cost: 3，increase: 2, patient:2, health:3, care:1 


4) 异常 检测 


异常 检测 (Anomaly Detection) 的 任务 是 识别 其 特征 显著 不 同 于 其 他 数据 的 观测 值 。 这 样 的 观测 值 称 为 异常 点 
(Anomaly) 或 离 群 点 (Outlier) 。 异 常 检 测算 法 的 目标 是 发 现 真正 的 异常 点 ， 而 避免 错误 地 将 正常 的 对 象 标注 为 异常 点 。 换 
言 之 ,一 个 好 的 异常 检测 器 必须 具有 高 检测 率 和 低 误 报 率 。 异 常 检 测 的 应 用 包括 检测 和 欺诈、 网络 攻 击 、 疾 病 的 不 寻常 模式 和 生态 
系统 扰动 等 。 


例 4 信用 卡其 诈 检 测 。 信 用 卡 公司 记录 了 每 个 持 卡 人 所 做 的 交易 ， 同 时 也 记录 了 持 卡 人 信用 限度 、 年 龄 、 年 薪 和 地 址 等 个 
人 信息 。 由 于 与 合法 交易 相 比 ， 欺 诈 行 为 的 数目 相对 较 少 ， 因 此 异常 检测 技术 可 以 用 来 构造 用 户 的 合法 交易 的 轮廓 。 当 一 个 新 的 
交易 到 达 时 就 与 之 比较 。 如 果 该 交易 的 特性 与 先前 所 构造 的 轮廓 不 相同 ， 则 把 该 交易 标记 为 可 能 是 欺诈 行为 。 


5.3 ”社交 媒体 指挥 中 心 


从 本 节 开 始 ， 将 介绍 大 数据 技术 的 一 些 应 用 场景 。 


2011 年 ， 黑 莓 的 电子 邮件 服务 器 停机 超过 一 天 ， 造 成 了 严重 的 停机 事故 。Bob 先 生 试 着 关闭 和 打开 的 黑莓 手机 的 电源 ， 因 
为 他 不 确定 是 自己 的 手机 出 现 了 问题 还 是 CSP (Communications Service Provider， 通 信服 务 提 供 商 ) 出 现 了 问题 。 因 为 服务 
器 停机 的 故障 之 前 从 未 发 生 过 。Bob 先 生 给 CSP 打 电话 咨询 ， 但 CSP 并 没有 意识 到 这 个 问题 。 有 一 段 时 间 Bob 也 没有 收 到 邮件 ， 
于 是 他 很 好 奇 ， 就 转向 一 个 另 一 个 消息 来 源 Twitter 网 。 果 然 ，Bob 在 Twitter 网 上 发 现 了 有 关 黑 莓 断 网 事件 的 信息 。 


而 事实 上 ， 有 一 部 分 服务 人 员 经 常 在 Twitter 网 上 寻找 客户 服务 问题 。 在 内 部 监控 机 构 发 现 问题 之 前 ， 通 常会 先 在 Twitter 网 
上 发 现 这 个 问题 。 有 大 量 的 初级 员工 受 雇 于 市 场 营销 、 客 户 服务 和 公共 关系 搜索 。 这 些 初级 员工 通过 社交 媒体 获取 与 客户 服务 相 
关 的 信息 。 这 就 是 一 个 使 信息 自动 化 的 机 会 。 


社交 媒体 指挥 中 心 结合 自动 的 搜索 和 显示 ， 在 社交 媒体 上 公开 表达 了 对 消费 者 的 反馈 。 通 常情 况 下 ， 客 户 对 产品 服务 “ 满 
意 ”或 “不 满意 ”情绪 的 表达 ， 反 馈 了 产品 服务 信息 。 商 家 一 旦 获得 反馈 ， 营 销 人 员 可 以 响应 具体 评论 。 与 相关 客户 交谈 是 否 回 
应 关于 停机 问题 或 者 获得 有 关 新 产品 的 反馈 等 。 

佳 得 乐 是 一 个 运动 饮料 产品 公司 ， 其 决定 创建 一 个 社交 媒体 指挥 中 心 ， 以 增加 消费 者 与 佳 得 乐 的 交流 。 如 图 5.5 所 示 为 佳 得 
乐 社交 媒体 指挥 中 心 示意 图 。 通 过 大 数据 分 析 可 以 用 于 监视 社交 媒体 对 产品 、 价 格 和 促销 活动 的 反馈 情况 ， 以 及 自动 响应 有 反馈 所 
采取 的 行动 。 这 可 能 需要 与 一 些 内 部 组 织 进 行 沟通 、 跟 踪 产 品 或 服务 问题 ， 并 与 客户 对 话 ， 以 反馈 产品 或 服务 的 变更 。 


房间 的 功能 
@ 社交 框架 和 协议 
@ 社交 软件 
@ 数据 集成 软件 
@ 数据 虚拟 化 和 操作 面板 


携 世 开 大 运动 品牌 的 影 
响 力 ， 遂 过 社区 平台 变 
成 人 人 参与 的 大 众 品牌 。 


图 5-5” 佳 得 乐 社交 媒体 指挥 中 心 示意 图 


5.4 产品 知识 中 心 


由 消费 者 变 成 高 级 用 户 的 技术 和 市 场 变 得 专业 化 ， 产 品 知识 变 成 大 众 公 知 。 以 iPhone 手机 为 例 ，iPhone 手 机 的 零件 来 自 大 
量 供应 链 池 ， 在 iPhone 上 运行 的 应 用 程序 ， 来 自 很 大 的 应 用 程序 开发 者 社区 和 通信 服务 提供 的 CSP (通信 服务 提供 商 ) 。 而 谷 
歌 、 安 卓 系统 甚至 更 多 样 化 ， 因 为 安装 谷歌 操作 系统 的 手机 制造 商 很 多 ， 衍 生出 了 多 种 安 卓 操 作 系统 的 变种 。 智 能 手机 在 隔离 状 
态 下 是 不 能 工作 的 ， 只 充当 其 他 设备 的 无 线 集线器 。 如 果 人 们 想 要 知道 如 何 连接 ijPad 与 iPhone， 打 电话 给 CSP (通信 服务 提供 
商 ) 还 是 打 电 话 给 苹果 公司 呢 ? 通信 服务 提供 商 的 网 站 会 给 出 一 个 具有 指导 意义 的 简单 教程 。 


为 了 使 用 智能 手机 ， 用 户 需要 在 网 上 查阅 无 数 的 第 三 方 网 站 ， 在 那里 可 以 找到 各 种 解决 方案 。 在 大 多 数 情况 下 ， 可 以 通过 使 
用 搜索 引擎 搜索 它们 。 然 而 ， 该 解决 方案 并 不 总 是 正确 的 ， 因 为 搜 到 的 结果 往往 是 过 时 的 ,没有 考虑 到 新 的 产品 。 设 备 的 操作 系 
统 、 应 用 程序 ， 必 须 确 认 版 本 信息 ， 确 保 搜索 到 的 解决 问题 的 方法 能 够 匹配 需要 解决 的 问题 ， 搜 索 到 对 应 的 硬件 和 正确 的 软件 。 
面 对 既 多 样 性 又 要 考虑 准确 性 的 数据 ， 搜 索 策 略 可 以 使 用 大 数据 分 析 来 解决 这 个 问题 。 


大 数据 分 析 解 决 方案 涉及 3 种 技术 。Vivisimo 公 司 已 经 将 这 些 技 术 打包 成 一 个 产品 ， 使 它 更 容易 获得 一 个 集成 的 解决 方案 。 
该 解决 方案 的 第 一 部 分 是 可 利用 任何 来 源 数据 的 能 力 。CSP (通信 服务 提供 商 ) 可 能 已 经 有 针对 专门 问题 的 解决 方案 ， 这 个 方案 
会 放 在 公司 内 部 网 站 ， 由 产品 经 理 或 客户 服务 专家 负责 。 或 者 ， 此 信息 可 能 驻 留 在 设备 制造 商 (如 苹果 ) 网 站 或 第 三 方 网 站 上 。 
所 有 这 些 数据 必须 剥离 其 控制 信息 ， 以 便 原 始 文本 可 以 被 重用 。 


解决 方案 的 第 二 部 分 是 创建 一 组 素 引 ， 以 便 在 需要 时 对 原始 信息 进行 分 类 。 由 于 原始 信息 存在 许多 产品 组 合 ， 我 们 希望 收集 
与 合并 搜索 信息 。 联 邦 检索 系统 允许 我 们 组 织 信息 以 便于 访问 。 


解决 方案 的 第 三 部 分 涉及 针对 一 个 查询 ， 创 建 一 个 XML 文档 ， 该 查询 既 可 以 由 混搭 引 警 呈现 ， 也 可 以 向 第 三 方 应 用 程序 提 
供 。 


产品 提供 商 创 建 的 知识 中 心 ， 可 以 直接 在 网 站 中 使 用 ， 通 过 将 信息 放置 在 Web 上 ，CSP (通信 服务 提供 商 ) 网 站 作为 知识 
中 心 ， 可 以 增加 网 站 流量 并 减少 投诉 人 数 ， 知 识 中 心 网 站 提供 自助 服务 ， 用 户 需 要 的 产品 支持 技术 通过 知识 中 心 自助 解决 ， 所 以 
客户 需要 产品 服务 时 ， 联 系 呼叫 中 心 ， 寻 求 产品 技术 帮助 的 来 源 减少 了 。 如 图 5.6 所 示 为 产品 知识 中 心 示意 图 。 


一 旦 创建 了 一 个 知识 的 来 源 ， 这 个 来 源 可 用 于 销售 其 他 产品 ， 并 且 把 产品 的 特点 和 用 户 的 诉求 连接 起 来 。 许 多 关于 该 产品 的 
零散 的 知识 可 能 会 迅速 组 织 起 来 ， 并 找到 各 种 其 他 用 途 。 


呼叫 中 心 “网络 网 上 聊天 


3 六 时 


通信 服务 ” 编 。 全 消费 者 反 蚀 
提供 商 数 据 工厂 网 站 第 三 方 网 站 


图 5-6 ”产品 知识 中 心 


5.5 ”基础 设施 和 业务 研究 


许多 行业 正在 探索 利用 大 数据 来 改善 基础 设施 。 在 许多 情况 下 ， 改 善 基 础 设施 的 最 佳 方法 是 了 解 其 使 用 情况 ， 以 及 瓶 须 或 配 
置 如 何 影响 性 能 。 过 去 ， 这 些 数据 需要 大 量 的 人 工 数据 收集 成 本 。 大 数据 是 提供 最 小 数据 收集 成 本 的 自然 数据 源 。 下 面 以 公共 服 


波士顿 市 决定 使 用 大 数据 标识 在 社区 街道 上 的 坑 洞 。 通 过 竞争 ， 最 终 的 胜利 者 是 Sprout&Co 公 司 ， 该 公司 在 萨 默 维尔 是 马 
萨 诸 塞 州 的 一 个 非 僵 利 性 组 织 。 该 公司 的 解决 方案 使 用 了 手机 在 z 轴 (也 就 是 海拔 方向 上 ) 的 加 速度 峰值 ， 再 加 上 额外 的 筛选 
器 ， 以 区 分 坑 洼 的 道路 上 的 数据 与 正常 道路 上 的 数值 ， 达 到 找 出 坑 洼 道路 的 目的 。 这 个 软件 发 布 在 苹果 的 应 用 商店 中 ， 用 户 可 以 
免费 下 载 。 这 种 分 析 可 以 节省 重要 道路 的 测量 成 本 。 导 航 系 统 也 可 以 使 用 手机 数据 提供 的 替代 路 线 ， 避 免 交 通 堵塞 。 大 数据 技术 
的 使 用 获得 认可 ， 是 不 涉及 隐私 或 安全 问题 的 最 佳 方法 之 一 。 


另 一 个 例子 是 美国 城市 公共 汽车 和 火车 机 构 ， 在 为 乘客 提供 的 实时 的 交通 信息 。 该 信息 显著 改善 了 用 户 体验 ， 减 少 了 与 计划 


出 行 和 意外 延迟 相关 联 的 不 确定 性 。 该 类 信息 由 “ 移 位 ”网 站 (www.transloc.com) 提供 ， 对 于 使 用 多 种 技术 ， 包 括 使 用 智能 
手机 、 网 络 和 和 SMS 消息 的 乘客 ， 都 可 获得 这 类 交通 信息 。 它 还 提供 预期 到 达 时 间 的 预测 能 力 。 一 旦 应 用 程序 被 加 载 到 智能 手机 
上 ， 乘 客 就 可 以 使 用 它 准 确 地 估计 旅行 时 间 ， 并 检查 旅行 路 线 。 在 我 国 的 一 些 城市 中 的 城市 公交 系统 也 提供 了 类 似 的 交通 信息 。 


IBM 在 智慧 城市 建设 中 提议 ， 在 大 量 的 针对 城市 基础 设施 操作 的 应 用 程序 中 ， 推 荐 使 用 大 数据 技术 。 其 中 ， 手 机 的 位 置 数 
据 ， 可 用 于 检测 交通 模式 。 使 用 这 些 模式 可 以 决定 新 的 运输 项 目 ， 更 改 控制 策略 ， 或 在 紧急 情况 下 实现 流量 重 定向 。 


5.6 ”基于 位 置 的 服务 


有 些 行业 会 关注 客户 的 位 置信 息 。 例 如 ， 手 机 运营 商 通 过 手机 的 位 置信 息 了 解 客 户 的 地 理 位 置 ;信用 卡 公 司 可 知道 交易 地 
点 ; 汽车 制造 商 可 知道 汽车 的 位 置 ， 社 交 媒体 也 会 通过 其 他 方式 让 顾客 向 其 朋友 和 家 人 透露 自己 的 位 置信 息 。 例 如 ， 在 一 次 到 Eh 
度 旅行 时 ， 我 使 用 当地 的 一 个 应 用 程序 软件 ndomondo， 在 孟买 用 手机 记录 了 我 的 慢跑 活动 ， 并 立即 发 布 在 我 的 Facebook 网 
页 上 ， 从 而 让 我 的 朋友 知道 我 去 了 孟买 。 


下 面 举 一 个 无 线 CSP 示 例 来 介绍 如 何 收集 和 确定 位 置信 息 。 手 机 是 与 一 个 距离 手机 最 近 的 发 射 塔 联系 的 ， 其 具体 位 置 可 以 通 
过 测量 其 距离 最 近 的 手机 信号 塔 来 推断 。 此 外 ， 大 多 数 智能 手机 可 以 提供 更 精确 的 GPs 定 位 信息 (最 高 可 达 1 米 ) 。 位 置 数据 包 
括 经 度 和 纬度 ， 如 果 正确 存储 数据 ， 可 能 需要 约 26 个 字 节 的 位 置信 息 。 如 果 我 们 面 对 的 是 5000 万 用 户 ， 想 储存 位 置信 息 24 小 时 
的 每 分 钟 一 次 的 频率 ， 那 么 每 天 的 数据 存储 约 200 万 兆 字 节 。 这 是 在 典型 CSP 中 位 置 服务 器 中 存储 的 信息 量 。 


客户 位 置 可 以 概括 为 不 同 粒度 级 别 的 “去 处 ”。 位 置信 息 可 以 合并 为 地 理喻 希 ， 绘 制 地 理 边界 和 变换 经 纬度 数据 以 便 地 理 哈 
希 可 计数 和 统计 分 析 。 一 个 人 在 某 一 特定 地 点 的 持续 时 间 被 认为 是 一 个 时 空 盒 ， 可 用 于 在 特定 的 时 间 段 内 对 某 一 特定 业务 或 居住 
地 点 的 个 人 进行 编码 。 


许多 智能 手机 应 用 程序 收集 位 置 数据 时 都 给 用 户 提 供 了 一 个 “选择 ”。 例 如 ,， 一 个 营销 人 员 增 加 了 一 个 位 于 特定 地 理 位 置 的 
杂货 店 ， 则 可 以 运行 有 效 的 市 场 营 销 活动 分 析 ， 分 析出 哪个 社区 的 人 更 有 可 能 在 一 个 特定 的 杂货 店 购 物 。 现 在 通信 和 商 通 过 手机 位 
置 分 析 ， 可 以 定位 到 特定 的 社区 ， 而 不 是 “粗暴 ”地 推广 到 所 有 社区 ， 从 而 提高 了 市 场 营销 活动 的 效率 。 利 用 预测 模型 可 以 对 基 
于 过 去 的 时 间 来 计算 客户 拜访 杂货 店 或 闲逛 的 概率 ， 以 及 可 以 聚集 客户 居住 信息 来 确定 最 有 可 能 去 购物 中 心 的 社区 是 哪些 。 


使 用 大 数据 技术 的 交易 数据 分 析 是 革命 性 的 ， 基 于 位 置 的 服务 ， 实 现 了 个 性 化 服务 ， 完 成 了 低 延 时 导购 任务 。Shopkick 是 
一 个 零售 活动 的 工具 ， 可 以 下 载 到 任何 一 部 智能 手机 上 。Shopkick 需 要 使 用 位 置 数据 以 提供 服务 。 一 旦 该 应 用 程序 被 下 载 到 智 
能 手机 中 ，Shopkick 将 会 寻找 许可 使 用 的 用 户 ， 通 过 智能 手机 记录 他 们 的 当前 位 置 。 此 外 ，Shopkick 还 有 零售 商 及 其 地 理 位 置 
数据 库 。 例 如 ， 在 用 户 家 附近 的 百货 商场 想 让 用 户 去 购物 。 为 进一步 激励 用 户 进去 购物 的 欲望 ，Shopkick 会 给 用 户 奖 励 这 个 商 
场 的 购物 优惠 券 。 当 用 户 走 进 商 场 时 ，Shopkick 可 以 使 用 在 智能 手机 确认 用 户 当前 的 位 置 在 该 商场 ， 然 后 增加 用 户 的 积分 奖 
励 ， 从 而 为 用 户 购 物 换取 更 大 的 优惠 。 


设备 制造 商 、CSP 和 零售 商都 已 经 开始 提供 大 量 的 基于 位 置 的 服务 ， 以 吸引 用 户 。 例 如 ， 智 能 手机 提供 “找到 我 的 电话 ” 服 
务 ， 可 以 找到 电话 。 如 果 手 机 丢失 ， 可 以 通过 网 站 确定 最 后 的 已 知 的 位 置 。 作 为 交换 ，CSP 或 设备 制造 商 可 以 为 产品 或 服务 改进 
寻找 位 置 数据 。 这 些 基 于 位 置 的 服务 也 可 以 产生 收入 。CSP 可 以 决定 为 每 次 将 智能 手机 切换 到 静音 模式 的 配置 服务 收费 。 用 户 进 
入 电影 院 后 切换 到 静音 模式 ， 一 旦 用 户 离 开 电 影院 ， 就 自动 恢复 正常 铃声 。 


当然 ， 在 使 用 这 些 数据 的 时 候 ， 还 要 考虑 如 何 保护 用 户 隐私 的 问题 。 


5.7 市场 细 分 


自动 化 技术 让 我 们 有 机 会 在 面向 客户 流程 的 每 一 步 中 收集 数据 在 网 页 上 的 行为 ， 例 如 ， 单 击 网 站 中 的 点 击 流 。 传 感 器 的 数据 

给 了 我 们 一 个 建立 行为 学 模式 应 用 分 析 的 机 会 。 早 期 的 技术 进化 是 使 用 分 析 法 来 进行 市 场 细 分 。 原 始 的 细 分 方式 使 用 了 人 口 统计 

学 技术 ， 并 使 用 消费 者 的 “ 硬 ” 数据， 如 地 理 位 置 、 年 龄 、 性 别 和 民族 特点 ， 建 立 市 场 细 分 。 但 营销 人 员 很 快意 识 到 ， 行 为 特征 
是 细 分 客户 的 重要 的 参数 。 


随 着 市 场 的 发 展 ， 可 以 看 到 更 多 、 更 细致 的 细 分 方式 ， 基 于 分 析 参 数 ， 驱 动 特定 市 场 。 例 如 ， 对 于 小 型 电子 产品 ， 市 场 营销 
人 员 开 始 尝试 区 分 以 下 两 类 人 群 : 一 类 是 由 于 愿意 尝试 新 鲜 事物 而 购买 的 创新 者 ， 一 类 是 跟随 其 他 人 购买 的 适应 者 。 通 过 数据 分 
析 表 可 知 ， 创 新 者 群体 乐于 早期 分 享 使 用 产品 经 验 ， 而 且 对 产品 的 缺陷 表现 得 更 宽容 . 


在 20 世 纪 90 年 代 中 期 ， 营 销 人 员 与 客户 接触 并 使 用 互联 网 为 客户 提供 自助 服务 ， 使 用 自动 化 营销 成 为 了 个 性 化 、1 对 1 的 营 
销 。 正 如 玛 水 罗杰斯 (Martha Rogers) 和 唐 : 佩 珀 斯 (Don Peppers) 在 他 们 《一 对 一 未 来 》 书 中 指出 的 那样 ，“1 对 1 营销 的 
基础 是 客户 ， 而 不 仅 仪 是 产品 市 场 份额 。1 对 1 营销 的 目标 不 是 在 产品 销售 的 过 程 中 卖 出 尽 可 能 多 的 产品 ， 而 是 在 客户 的 一 生 
中 ， 尽 可 能 多 地 把 产品 卖 给 这 个 顾客 。 大 众 市 场 通 常 的 做 法 是 开发 产品 ， 并 尝试 查找 该 产品 的 客户 。 而 1 对 1 营销 的 方式 是 为 客 
户 开 发 或 者 为 客户 找到 适合 这 个 客户 的 产品 。” 


早期 的 分 析 系 统 报告 给 营销 团队 提供 原始 分 割 数据 ， 以 便 他 们 可 以 用 这 些 数 据 来 决定 市 场 营 销 活动 。 在 市 场 营 销 中 ， 运 营 自 
动 化 可 以 收集 数据 、 分 析 效 能 、 改 进 营销 运动 ， 形 成 营销 循环 。 在 某 些 情况 下 ， 特 定 客户 兴趣 、 客 户 体 验 的 信息 ， 为 营销 活动 提 
供 了 客户 的 服务 标准 。 


例如 ， 通 过 分 析 某 用 户 的 位 置 数 据 ， 营 销 分 析 师 会 立即 得 出 结论 : 该 用 户 经 常 在 国内 和 国外 出 差 。 当 该 用 户 不 去 旅行 时 ， 通 
常 的 活动 范围 是 在 家 里 和 距离 该 用 户 家 不 到 两 英里 的 办 公 室 之 间 ， 他 们 还 可 以 看 到 大 量 的 该 用 户 的 日 常生 活 轨迹 。 在 通过 对 
1600 万 条 记录 的 通话 日 期 、 时 间 和 地 点 的 数据 分 析 后 ， 研 究 者 认为 人 的 动作 轨迹 似乎 遵循 某 个 数学 模式 。 研 究 人 员 指出 ， 给 
某 个 人 与 过 去 运动 有 关 的 足够 信息 ， 可 以 预测 某 个 人 未 来 的 活动 趋势 ， 并 且 有 93.6% 的 准确 率 。 


如 何 使 用 位 置 数 据 推导 出 市 场 细 分 信息 呢 ? 在 最 简单 的 层面 上 ， 假 设 对 一 组 用 户 在 过 去 三 个 月 里 的 位 置 数据 进行 分 析 ， 就 可 
以 区 分 出 环球 旅行 者 、 现 场 工 作者 (如 矿业 者 ) 、“ 朝 九 晚 五 者 ” ( 即 白 天 在 工作 单位 上 班 晚 上 回 家 休息 的 人 ) 和 在 家 工作 者 。 
在 更 细 的 分 析 层 面 上 ， 可 以 开始 分 析 用 户 行为 的 频率 。 通 过 用 户 去 过 一 家 咖啡 店 ， 商 场 、 或 者 一 个 高 尔 夫 球 场 的 次 数 ， 可 以 建立 
起 这 个 用 户外 出 的 频率 规则 (例如 ，“ 对 咖啡 店 的 访问 量 是 每 月 超过 4 次 ， 每 次 的 持续 时 间 是 一 个 小 时 或 者 更 多 ”) 。 营 销 人 员 
根据 这 些 分 析 可 以 寻求 顾客 ，“ 选 择 ” 他 们 的 位 置信 息 ， 并 提供 基于 位 置 数据 分 析 的 特定 的 、 有 针对 性 的 促销 活动 。 


5.8 在线 广 告 


过 去 ， 广 告 的 传统 形式 是 电视 和 广播 。 随 着 在 线 内 容 发 布 的 流行 ， 线 上 广告 在 市 场 上 的 影响 越 来 越 大 ， 越 来 越 受 到 人 们 的 欢 
迎 。 例 如 伦敦 奥运 会 提供 的 移动 和 其 他 在 线 媒 体 ， 证 明了 分 销 渠道 的 普及 ， 与 电视 相 比 ， 在 奥运 会 期 间 ， 手 机 和 平板 电脑 几乎 占 
据 了 一 半 的 互联 网 视频 流量 ， 这 是 便携 式 电视 的 分 水 岭 。 伦 敦 奥运 会 期 间 近 2800 万 人 访问 了 
NBCOlympics.com (NBC，National Broadcasting Company， 美 国 全 国 广播 公司 ) 网 站 ， 其 中 ， 近 640 万 人 使 用 的 是 移动 设 
备 。 


同时 ， 在 线 广 告 也 变 得 越 来 越 复 杂 ， 为 细 分 市 场 广 告 和 基于 上 下 文 的 广告 〈 与 内 容 匹 配 的 网 络 广告 ) 提供 了 巨大 的 机 会 。 那 


么 我 们 如 何 交付 这 些 产 品 ， 它 们 与 传统 广告 有 什么 区 别 ? 


发 布 客户 广告 的 主要 目标 是 在 适当 的 网 页 上 下 文 环境 下 ， 打 动 线 上 的 用 户 ， 从 而 使 用 户 产生 行动 ， 实 现 对 商品 的 购买 。 大 数 
据 为 营销 人 员 提 供 了 一 个 机 会 : 收集 无 数 用 户 的 行为 信息 。 通 过 整理 和 分 析 这 些 信息 ， 可 以 建立 两 套 关 于 客户 的 见解 ， 这 两 项 都 
与 在 线 广告 非常 相关 。 第 一 ， 通 过 细 分 大 量 用 户 的 购物 历史 来 建立 用 户 细 分 段 ， 以 及 每 个 段 的 习惯 购买 模式 。 第 二 ， 可 以 使 用 上 
下 文 的 驱动 器 ， 特 定 于 上 下 文 的 广告 (与 内 容 匹 配 的 网 络 广告 ) 在 线 互 动 。 例 如 ， 如 果 某 人 要 搜索 欲 采 购 的 产品 ， 可 以 在 Web 
页 上 查询 产品 广告 ， 并 提供 采购 产品 的 数目 。 


通过 分 析 、 观 察 我 们 发 现 了 研究 广告 投放 机 制 的 方法 ， 这 个 方法 就 是 翻 广告 的 帮助 信息 。 在 一 些 类似 谷 歌 、 雅 虎 和 
Facebook 这 样 的 大 平台 上 ， 需 求 方 平 台 DSP (Demand Side Platform， 即 广告 需求 方 平台 ， 也 就 是 买 家 平台 ) 每 秒 投放 50 万 
条 广告 。 一 个 DSP 经 理 通 过 实时 拍卖 或 招标 来 为 广告 客户 管理 在 线 广告 活动 。 不 同 于 传统 的 直接 购买 市 场 (如 印刷 品 或 电视 ) ， 
广告 的 价格 是 基于 网 络 客户 接触 机 会 点 击 率 来 决定 的 ， 实 时 广告 交易 平台 接收 用 户 按照 自己 的 印象 对 广告 出 价 ， 然 后 卖 给 出 价 最 
高 的 客户 。DSP 是 一 个 汇集 了 所 有 关于 用 户 、 页 面 、 广 告 和 活动 约束 的 信息 平台 ， 在 这 里 可 以 为 广告 商 做 出 最 佳 的 决策 。 


下 面 以 一 个 例子 来 了 解 发 布 者 、 广 告 交 易 平台 、DSP 和 广告 商 之 间 的 信息 流 和 协作 ， 以 提供 在 线 广告 。 如 果 用 户 在 搜索 引擎 
上 启动 特定 搜索 码 中 的 食物 搜索 ， 搜 索引 擎 将 接受 请 求 ， 解 析 请 求 并 开始 提供 搜索 结果 。 当 搜索 结果 被 交付 时 ， 搜 索引 警 决定 在 
屏幕 上 放置 几 个 广告 。 搜 索引 擎 试图 通过 广告 来 积累 某 一 产品 的 营销 业绩 ， 并 为 这 种 产品 的 一 些 竞 争 对 手提 供 机 会 ， 为 他 们 的 广 
告 商 投放 广 告 引 入 竞价 机 制 。 在 寻求 出 价 时 ， 发 布 者 可 以 提供 一 些 与 用 户 对 DSP 所 知 的 额外 信息 相 匹 配 的 上 下 文 信息 。DSP 决 定 
是 否 参加 这 个 特定 的 出 价 ， 并 作出 报价 ， 以 放置 一 个 广告 。 出 价 最 高 的 投标 人 被 选中 ， 他 们 的 广告 交付 给 用 户 响应 搜索 。 通 常 ， 
这 整个 过 程 可 能 需要 80 毫 秒 ， 如 图 5.7 所 示 。 


数据 管理 平台 会 收集 关于 广告 和 广告 业务 流程 的 有 价值 的 统计 信息 。 关 键 绩效 指标 包括 用 户 单 击 广告 ， 然 后 成 功 产 生 购 买 行 
为 的 次 数 。 如 果 用 户 已 收 到 一 个 单一 的 广告 很 多 次 ， 则 可 能 会 导致 饱 和 并 减少 用 户 点 击 广告 的 几率 。 


当 在 线 广告 结合 在 线 购买 功能 时 ， 在 正确 的 上 下 文中 放置 广告 的 价值 可 能 会 提升 。 如 果 投 放 广 告 的 结果 发 生 了 立即 购买 行 
为 ,广告 商 可 能 提供 更 高 的 价格 产品 ， 并 将 广告 发 布 到 网 络 销售 平台 。 只 有 能 够 正确 地 跟踪 消费 者 所 关心 的 需求 ， 以 及 能 够 匹配 
消费 者 关心 的 需求 ， 在 线 销售 商 或 服务 商 提供 的 服务 ， 才 能 使 需求 方 平 台 和 数据 管理 平台 取得 成 功 。 


RTB 实 时 剖 价 ， 针 对 每 一 
告 交 易 模式 个 访 问 需 求 的 DSP 端 进行 
获胜 获得 展示 机 会 2 次 展现 利益 


竞价 过 程 

一 一 一 一 投放 过 程 
当 用 户 浏览 这 一 个 加 入 SSP 的 站 点 时 ， 
其 实 发 生 了 很 多 事情 … 
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图 5-7 广告 交易 竞价 过 程 


5.9 ”改进 风险 管理 


信用 卡 公司 可 以 使 用 手机 位 置 数据 区 分 真实 用 户 和 欺诈 用 户 。 当 信用 卡 在 某 个 位 置 使 用 时 ， 判 断 信用 卡 交易 位 置 与 用 户 的 手 
机 位 置 是否 相 匹配 ， 以 减少 欺诈 交易 的 风险 。 


例如 ， 某 用 户 的 工作 需要 经 常 出 差 ， 几 乎 每 周一 次 。 因 为 经 常 去 各 种 国际 旅游 景区 ， 但 很 少 使 用 他 的 个 人 信用 卡 ， 任 何 购买 
后 刷 信用 卡 的 活动 都 很 可 能 被 标记 为 不 寻常 的 活动 。 这 种 行为 把 该 用 户 置 于 信用 卡 公司 的 欺诈 引擎 的 严密 监控 之 下 ， 致 使 该 用 户 
的 信用 卡 在 偶尔 支付 的 时 候 拒绝 服务 ， 这 时 就 需要 致电 防伪 验证 呼叫 中 心 。 而 往往 这 个 确认 过 程 的 总 体 成 本 是 较 高 的 ， 包 括 电 话 
费 、 呼 叫 中 心 代 理 的 时 间 和 用 户 自 己 的 时 间 。 


该 用 户 咨 询 信用 卡 中 心 ， 怎 样 才能 使 信用 卡 公司 对 他 的 监控 放松 一 些 ， 答 复 是 用 户 可 以 在 每 次 出 差 前 给 他 们 打 电 话 报告 行 
程 。 这 个 解决 方案 可 能 会 减少 该 用 户 的 信用 卡 被 拒绝 的 次 数 。 


信用 卡 诈骗 的 前 提 是 有 人 偷 了 信用 卡 并 使 用 它 。 典 型 的 欺诈 规则 是 在 一 个 新 的 位 置 进行 一 次 刷卡 消费 。 但 是 对 于 频繁 旅行 或 
出 差 的 人 来 说 ， 没 有 规律 的 刷 个 人 信用 卡 行为 使 用 很 容易 被 看 成 是 欺诈 交易 。 昌 然 信用 卡 公司 可 能 不 知道 用 户 的 地 理 区 域 ， 但 用 
户 的 智能 手机 可 以 反映 用 户 的 地 理 位 置 。 如 果 能 授权 信用 卡 公司 检查 用 户 的 手机 位 置 ， 那 么 可 以 在 手机 上 下 载 一 个 App 应 用 ,用 
户 使 用 安全 密码 登录 ， 信 用 卡 公司 可 根据 用 户 手机 的 地 理 位 置 反馈 与 信用 卡 消 费 的 地 理 位 置 是 否 匹 配 ， 来 确定 信用 卡 是 否 被 盗 刷 
的 可 能 性 。 并 且 用 户 同时 丢失 信用 卡 和 手机 的 几率 很 低 ， 即 使 有 人 捡 到 了 这 两 样 物品 ， 也 几乎 不 可 能 同时 携带 这 两 样 物品 进行 刷 
卡 消费 。 


金融 机 构 也 可 以 利用 智能 手机 时 行 银行 交易 。 如 大 通 银行 使 用 苹果 手机 进行 移动 端 支付 校 验 
( 见 https://www.chase.com/online/services/check-deposit.htm) 。 使 用 iPhone 手机 ， 可 以 拍 一 张 支票 的 两 面 ， 然 后 用 
iPhone 手机 上 的 大 通 银 行 移动 应 用 程序 和 大 通 银行 给 用 户 提供 的 特别 授权 ID 登录 用 户 的 账户 。 这 样 用 户 的 手机 和 大 通 银行 进行 
了 数据 确认 ， 大 通 银行 可 以 利用 这 些 信 息 提高 用 户 的 客户 体验 。 


5.10 “本章 小 结 


本 章 介绍 了 数据 仓库 的 演化 及 数据 挖掘 中 数据 分 析 的 方法 ， 后 面 的 小 节 中 介绍 了 一 些 利用 这 些 数 据 分 析 的 方法 在 各 个 领域 所 
产生 的 成 果 。 但 是 大 数据 技术 并 没有 处 在 一 个 成 熟 的 阶段 ， 大 数据 分 析 的 方法 还 需要 继续 探索 研究 。 


5.11 汶 


隧 


1 数据 库 为 什么 要 分 家 ? 
2. 简 述 数据 仓库 的 组 成 。 
3. 摘 述 数据 挖掘 要 解决 的 问题 。 
4. 简 述 数据 分 析 的 方法 。 


5. 思 考 大 数据 技术 能 够 在 生活 中 有 了 哪些 应 用 ? (除了 本 书 提 到 的 。 ) 


第 6 草 ”大 数据 处 理 方法 


大 数据 如 果 是 上 百 或 上 干 条 数据 ， 还 可 以 逐一 检查 每 条 数据 ， 人 为 处 理 。 但 是 如 果 数 据 达 到 | 干 万 级 别 甚 至 过 亿 条 时 ， 就 不 是 
手工 能 解决 的 ， 必 须 通 过 工具 进行 处 理 。 尤 其 对 于 海量 数据 ， 什 么 情况 都 有 可 能 存在 ， 如 重复 、 格 式 不 正确 等 。 另 外 ， 当 数据 达 
到 TB 级 别 时 ， 借 助 计 算 机 处 理 对 于 计算 机 的 软 、 硬 件 要 求 也 会 很 高 。 首 先 遇 到 的 问题 就 是 数据 无 法 全 部 读 取 到 内 存 中 进行 处 
理 。 上 述 海量 数据 处 理 遇 到 的 问题 ， 需 要 想 一 些 更 好 的 大 数据 处 理 方 法 来 应 对 。 如 何在 海量 数据 中 去 重 ， 如 何 处 理 TB 级 别 的 数 
据 ， 以 及 如 何 处 理 格式 不 正确 的 数据 等 问题 ， 都 是 数据 处 理 人 员 所 要 解决 的 。 


本 章 主 要 讲述 一 些 常用 的 大 数据 处 理 方法 。 当 然 这 些 方法 并 不 能 完全 解决 所 有 的 问题 ， 但 是 基本 上 可 以 处 理 大 部 分 遇 到 的 问 
题 。 下 面 就 分 别 来 讲解 这 些 大 数据 的 处 理 方法 。 


6.1 布 隆 过 滤器 (Bloom Filter) 


布 隆 过 滤器 (Bloom Filter) 是 1970 年 由 Bloom 提 出 的 ， 最 初 广泛 用 于 拼写 检查 和 数据 库 系 统 中 。Bloom Filter 是 一 个 空间 
效率 很 高 的 数据 结构 ， 它 由 一 个 很 长 的 二 进 制 向 量 和 一 组 Hash 映 射 函数 组 成 。Bloom Filter 可 以 用 于 检索 一 个 元 素 是 否 在 一 个 
集合 中 ， 它 的 优点 是 空间 效率 和 查询 时 间 都 远 远 超过 一 般 的 算法 ， 缺 点 是 有 一 定 的 误 识 别 率 和 删除 困难 。 


6.1.1 基本 思路 


布 隆 过 滤器 的 基本 原理 是 : 当 一 个 元 素 被 加 入 集合 时 ， 通 过 k 个 散 列 函数 将 这 个 元 素 映射 成 一 个 数组 中 的 k 个 点 ， 把 它们 置 
为 1。 检 索 时 ， 我 们 只 要 看 这 些 点 是 否 是 1 就 (大约) 知道 集合 中 是 否 有 它 了 。 如 果 这 些 点 有 任何 一 个 0， 则 被 检 元 素 一 定 不 在 ; 


如 果 都 是 1， 则 被 检 元 素 很 可 能 在 ， 查 找 结果 并 不 能 保证 100% 正 确 。 


原始 的 Bloom Filter 不 支持 删除 已 经 插入 的 关键 字 ， 因 为 该 关键 字 对 应 的 位 会 牵动 到 其 他 的 关键 字 。 所 以 简单 的 改进 就 是 
Counting Bloom Filter， 用 counter 数 组 代 蔡 位 数组 ， 就 可 以 支持 删除 了 插入 的 关键 字 了 。 


还 有 一 个 比较 重要 的 问题 ， 如 何 根据 输入 元 素 个 数 n， 确 定位 数组 m 的 大 小 及 Hash 函 数 个 数 。 当 Hash 函 数 个 数 K= (In2) 
(my/n) 时 错误 率 最 小 。 在 错误 率 不 大 于 E 的 情况 下 ，m 至 少 要 等 于 nlg (1/E) 才能 表示 任意 n 个 元 素 的 集合 。 但 m 还 应 该 更 大 
些 ， 因 为 还 要 保证 bit 数 组 里 至 少 一 半 为 0， 则 m 应 该 >nlg (1/E) lge， 大 概 就 是 nlg (1/E) 的 1.44 倍 (lg 表示 以 2 为 底 的 对 
数 ) 。 


假设 错误 率 为 0.01， 则 此 时 m 约 为 n 的 13 倍 。 这 样 K= (In2) . (m/n) =0.6913=8.9。 


注意 ， 这 里 m 与 n 的 单位 不 同 ，m 是 bit 为 单位 ， 而 n 则 是 以 元 素 个 数 为 单位 (准确 地 说 是 不 同 元 素 的 个 数 ) 。 通 常 单 个 元 素 
的 长 度 都 是 有 很 多 bit 的 ， 所 以 使 用 bloom Filter 内 存 上 通常 都 是 节省 的 。 


Bloom Filter 将 集合 中 的 元 素 映 射 到 位 数组 中 ， 用 k (k 为 哈 希 函 数 个 数 ) 个 映射 位 是 否 全 为 1 表示 元 素 是 否 在 这 个 集合 中 。 
Counting Bloom Filter (CBF) 将 位 数组 中 的 每 一 位 扩展 为 一 个 计数 器 ， 从 而 支持 了 元 素 的 删除 操作 。Spectral Bloom 
Filter (SBF) 将 其 与 集合 元 素 的 出 现 次 数 关联 。SBF 采 用 counter 中 的 最 小 值 来 近似 表示 元 素 的 出 现 频率 。 


6.1.2 ”适用 沁 围 


布 隆 过 滤器 可 以 用 来 实现 数据 字典 ， 进 行 数据 的 判 重 (重复 数据 判断 ) ， 或 者 集合 求 交集 。 


6.1.3 ”实例 


有 A、B 两 个 文件 ， 各 存放 50 亿 条 URL， 每 条 URL 占 用 64 字 节 ， 内 存 限制 是 4GB， 找 出 A、B 文 件 中 共同 的 URL。 如 果 是 3 个 乃 
至 n 个 文件 ， 又 该 怎么 办 呢 ? 


根据 这 个 问题 我 们 来 计算 内 存 的 占用 ，4GB=2^32 大 约 是 340 亿 ，n=50 亿 时 ， 如 果 按 出 错 率 0.01 算 ， 则 需要 的 内 存 大 概 是 
650 亿 个 bit。 现 在 可 用 的 是 340 亿 ， 这 样 可 能 会 使 出 错 率 上 升 。 另 外 ， 如 果 这 些 URL 的 IP 是 一 一 对 应 的 ， 就 可 以 转换 成 IP， 那 么 
就 会 变 得 简单 了 。 


Bloom Filter 是 一 种 空间 效率 很 高 的 随机 数据 结构 ， 它 利用 位 数组 很 简洁 地 表示 一 个 集合 ， 并 能 判断 一 个 元 素 是 否 属 于 这 个 
集合 。Bloom Filter 的 这 种 高 效 是 有 一 定 代价 的 : 在 判断 一 个 元 素 是 否 属于 某 个 集合 时 ， 有 可 能 会 把 不 属于 这 个 集合 的 元 素 误 认 
为 属于 这 个 集合 (False Positive) 。 因 此 ，Bloom Filter 不 适合 那些 “ 零 错 误 ” 的 应 用 场合 。 而 在 能 容忍 低 错 误 率 的 应 用 场 
合 ，Bloom Filter 通 过 极 少 的 错误 换取 了 存储 空间 的 极 大 节省 。 


1. 集 合 表示 和 元 素 查 询 


下 面具 体 来 看 Bloom Filter 是 如 何 用 位 数组 表示 集合 的 。 初 始 状态 时 ，Bloom Filter 是 一 个 包含 m 位 的 位 数组 ， 每 一 位 都 置 
为 0， 如 图 6.1 所 示 。 


为 了 表达 s={x1，x2，…，xn} 这 样 一 个 n 个 元 素 的 集合 ，Bloom Filter 使 用 k 个 相互 独立 的 哈 希 函数 (Hash Function) ， 它 
们 分 别 将 集合 中 的 每 个 元 素 映射 到 (1，…，m) 的 学 围 中 。 对 于 任意 一 个 元 素 X， 第 i 个 哈 希 函数 映射 的 位 置 hi (x) 就 会 被 置 为 
1 (1<isk) 。 注 意 ， 如 果 一 个 位 置 多 次 被 置 为 1， 那 么 只 有 第 一 次 会 起 作用 ， 后 面 几 次 将 没有 任何 效果 。 在 图 6.2 中 ，k=3, 且 
有 两 个 哈 希 消 数 选中 同一 个 位 置 (从 左边 数 第 5 位 ) 。 


图 6-1 布 隆 过 滤器 初始 状态 


在 判断 y 是 否 属 于 这 个 集合 时 ， 对 y 应 用 k 次 哈 希 函数 ， 如 果 所 有 hi (y) 的 位 置 都 是 1 (1<i<k) ， 那 么 就 认为 y 是 集合 中 的 元 
素 ， 否 则 就 认为 y 不 是 集合 中 的 元 素 。 如 图 6.3 中 y1 就 不 是 集合 中 的 元 素 。y2 或 者 属于 这 个 集合 ， 或 者 刚好 是 一 个 False 


Positive。 
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图 6-2” 哈 希 函 数 映射 的 位 置 


图 6-3 ”集合 元 素 判 断 


2. 错 误 率 估计 

前 面 我 们 已 经 提 到 了 ，Bloom Filter 在 判断 一 个 元 素 是 否 属于 它 表示 的 集合 时 会 有 一 定 的 错误 率 (False Positive Rate) 。 
下 面 我 们 就 来 估计 错误 率 的 大 小 。 在 估计 之 前 为 了 简化 模型 ， 假 设 kKn < m 且 各 个 哈 希 函数 是 完全 随机 的 。 当 集合 S={x1，x2， 
.…，Xn} 的 所 有 元 素 都 被 k 个 哈 希 函数 映射 到 m 位 的 位 数组 中 时 ， 这 个 位 数组 中 某 一 位 还 是 0 的 概率 是 


/ ] —kn/m 
=(1—-—)”"~e®™ 
I 


其 中 ，1/m 表 示 任 意 一 个 哈 希 函 数 选中 这 一 位 的 概率 (前 提 是 哈 希 函 数 是 完全 随机 的 ) ; (1-1/m) 表示 哈 希 一 次 没有 选中 
这 一 位 的 概率 。 要 把 S 完 全 映射 到 位 数组 中 ， 需 要 做 kn 次 哈 希 。 某 一 位 还 是 0 意味 着 kn 次 哈 希 都 没有 选中 它 ， 因 此 这 个 概率 就 是 
(1-1/m) 的 kn 次 方 。 令 p=e-kn/m 是 为 了 简化 运算 ， 这 里 用 到 了 计算 e 时 常用 的 近似 : 


lim(1— 下 =& 


有 一 六 本 本 
令 p 为 位 数组 中 0 的 比例 ， 则 p 的 数学 期 望 E (p) =p'。 在 p 已 知 的 情况 下 ， 要 求 的 错误 率 (False Positive Rate) 为 


Gp (0 (6.1) 


(1-p) 为 位 数组 中 1 的 比例 ， (1-p) k 就 表示 Kk 次 哈 希 都 刚好 选中 1 的 区 域 ， 即 错误 率 。 式 (6.1) 中 第 二 步 近似 在 前 面 已 经 
提 到 了 ， 现 在 来 看 第 一 步 近似 。p' 只 是 p 的 数学 期 望 ， 在 实际 中 p 的 值 有 可 能 偏离 它 的 数学 期 望 值 。Michael.Mitzenmacher 已 经 
证 明 ， 位 数组 中 0 的 比例 非常 集中 地 分 布 在 它 的 数学 期 望 值 附近 。 因 此 ， 第 一 步 的 近似 得 以 成 立 。 分 别 将 p 和 p' 代 入 式 (6.1) 
中 ， 得 
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相 比 p' 和 f"， 使 用 p 和 f 通 常 在 分 析 中 更 为 方便 。 
3. 最 优 的 哈 希 函数 个 数 


既然 Bloom Filter 要 靠 多 个 哈 希 函数 将 集合 映射 到 位 数组 中 ， 那 么 应 该 选择 几 个 哈 希 阔 数 才能 使 元 素 查 询 时 的 错误 率 降 到 最 


低 呢 ? 这 里 有 两 个 互 斥 的 理由 : 如 果 哈 希 沙 数 的 个 数 多 ， 那 么 在 对 一 个 不 属于 集合 的 元 素 进行 查询 时 得 到 0 的 概率 就 大 ;但 另 一 
方面 ， 如 果 哈 希 函 数 的 个 数 少 ， 那 么 位 数组 中 的 0 就 多 。 为 了 得 到 最 优 的 哈 希 函数 个 数 ， 需 要 根据 错误 率 公式 进行 计算 。 


先 用 p 和 f 进 行 计 算 。 注 意 f=exp (k In (1-e-kn/m) )， 令 g=k In (1-e-kn/m) ， 只 要 让 g 取 到 最 小 ，f 自 然 也 取 到 最 小 。 
由 于 p=e-kn/m， 因 此 可 以 将 g 写 成 


g=—L In(p)in(l—p) (6.2) 
nl 


根据 对 称 性 法 则 可 以 很 容易 地 看 出 ， 当 p=1/2， 也 就 是 k=In2 (m/n) 时 ，g 取 得 最 小 值 。 在 这 种 情况 下 ， 最 小 错误 率 f 等 于 
(1/2) ks (0.6185) m/n。 另 外 ,注意 到 p 是 位 数组 中 某 一 位 仍 是 0 的 概率 ， 所 以 p=1/2 对 应 着 位 数组 中 0 和 1 各 一 半 。 换 句 话 
说 ， 要 想 保 持 错 误 率 低 ， 最 好 让 位 数组 有 一 半 还 空 着 。 


需要 强调 的 一 点 的 是 ，p= 1/2 时 错误 率 最 小 这 个 结果 并 不 依赖 于 近似 值 p 和 f。 同 样 对 于 f =exp (k In (1- (1- 


1/m) kn) )，g=kin (1- (1-1/m) kn) ，p'= (1-1/m) kn， 我 们 可 以 将 g 写成 


/ 


= 一 ~ 二 (0.3) 
: nln(l—l/m) pp) 


同样 根据 对 称 性 法 则 可 以 得 到 当 p'=1/2 时 ，g' 取 得 最 小 值 。 
4. 位 数组 的 大 小 


下 面 我 们 来 看 看 ， 在 不 超过 一 定 错误 率 的 情况 下 ，Bloom Filter 至 少 需要 多 少 位 才能 表示 全 集中 任意 n 个 元 素 的 集合 。 假 设 
全 集中 共有 Uu 个 元 素 ， 允 许 的 最 大 错误 率 为 ?， 下 面 我 们 来 求 位 数组 的 位 数 m。 


假设 邓 为 全 集中 任 取 n 个 元 素 的 集合 , F(X) 是 表示 半 的 位 数组 。 那么 对 于 集合 了 中 任 
意 一 个 元 素 x， 在 s = F(%) 中 查询 x 都 能 得 到 肯定 的 结果 ， 即 s 能 够 接受 x。 显 然 ， 由 于 
Bloom Filter 引入 了 错误 ，s 能 够 接受 的 不 仪 仅 是 子 中 的 元 素 ， 它 还 能 够 有 e (wu - nn) 个 错误 
肯定 。 因此, 对 于 一 个 确定 的 位 数组 来 说 , 它 能 够 接受 共 n+e (wu- 几 ) 个 元 素 。 在 n+e(u-n) 


十 
个 元 素 中 ，* 直下 表示 的 具有 其 中 为 个 ， 所 以 一 个 确定 的 位 数组 可 以 表示 "外 
合 。m 位 的 位 数组 共有 2m 个 不 同 的 组 合 ， 进 而 可 以 推出 ，m 位 的 位 数组 可 以 表示 
2 | 个 集合 。 全 集中 个 元 素 的 集合 总 共有 [| 个 ， 因 此 要 让 位 的 位 数组 


能 够 表示 所 有 个 元 素 的 集合 ， 则 必须 有 2 “|”]， 凶 


1 二 E (u "| 


u 
nl —n 
~log, ~ 人 之 log, € "=nlog,(l/e) (6.4) 
Eu 
式 (6.4) 中 的 近似 前 提 是 n 和 ?u 相 比 很 小 ， 这 也 是 实际 情况 中 常常 发 生 的 。 根 据 式 (6.4) 可 以 得 出 结论 : 在 错误 率 不 大 于 ? 
的 情况 下 ，m 至 少 要 等 于 n log2 (1/?) 才能 表示 任意 n 个 元 素 的 集合 。 


1 之 1og， 


n 


前 面 我 们 曾 算出 当 k=In2 (m/n) 时 错误 率 f{ 最 小 ， 这 时 f= (1/2) k= (1/2) mIn2/n。 现 在 令 f<?， 可 以 推出 


=, ge) 


=nlog, elog,(Ye) (6.5) 


这 个 结果 比 前 面 我 们 算 的 下 界 n log2 (1/?) 大 了 log2es1.44 倍 。 这 说 明 在 哈 希 函数 的 个 数 取 到 最 优 时 ， 要 让 错误 率 不 超 
，m 至 少 需要 取 到 最 小 值 的 1.44 倍 。 


池 
Ee) 


在 计算 机 科学 中 ， 我 们 常常 会 碰 到 时 间 换 空间 或 者 空间 换 时 间 的 情况 ， 即 为 了 达到 某 一 个 方面 的 最 优 而 牺牲 另 一 个 方面 。 
Bloom Filter 在 时 间 空 间 这 两 个 因素 之 外 又 引入 了 另 一 个 因素 : 错误 率 。 在 使 用 Bloom Filter 判 断 一 个 元 素 是 否 属 于 某 个 集合 
时 ， 会 有 一 定 的 错误 率 。 也 就 是 说 ， 有 可 能 把 不 属于 这 个 集合 的 元 素 误 认 为 属于 这 个 集合 (False Positive) ， 但 不 会 把 属于 这 
个 集合 的 元 素 误 认为 不 属于 这 个 集合 (False Negative) 。 在 增加 了 错误 率 这 个 因素 之 后 ，Bloom Filter 通 过 允许 少量 的 错误 来 
节省 大 量 的 存储 空间 。 


自从 Burton Bloom 在 20 世 纪 70 年 代 提出 Bloom Filter 之 后 ，Bloom Filter 就 被 广泛 用 于 拼写 检查 和 数据 库 系统 中 。 伴 随 着 
网 络 的 普及 和 发 展 ，Bloom Filter 在 网 络 领域 获得 了 新 生 ， 各 种 Bloom Filter 变 种 和 新 的 应 用 不 断 出 现 。 可 以 预见 ， 随 着 网 络 应 
用 的 不 断 深入 ，Bloom Filter 必 将 获得 更 大 的 发 展 。 


6.2 散 列 法 (Hashing) 


散 列 法 (Hashing) 是 计算 机 科学 中 一 种 对 数据 的 处 理 方法 ， 通 过 某 种 特定 的 函数 /算法 ( 称 为 散 列 函数 /算法 ) ， 将 要 检索 
的 项 与 用 来 检索 的 索引 ( 称 为 散 列 ， 或 者 散 列 值 ) 关联 起 来 ， 生 成 一 种 便于 搜索 的 数据 结构 ( 称 为 散 列 表 ) 。 它 常用 作 一 种 信息 
安全 的 方法 ， 如 由 一 串 数据 中 经 过 散 列 算法 (Hashing Algorithms) 计算 出 来 的 数据 指纹 (Data Fingerprint) ， 经 常用 来 识 
别 档案 与 数据 是 否 被 算 改 过 ， 以 保证 档案 与 数据 确实 是 由 原创 者 所 提供 的 。 


6.2.1 基本 思路 


Hash 函 数 选 择 ， 针 对 字符 串 、 整 数 、 排 列 ， 具 有 相应 的 Hash 方 法 。 一 种 是 Open Hashing， 也 称 为 拉链 法 ; 另 一 种 就 是 
Closed Hashing， 也 称 开放 地 址 法 ， 即 Opened Addressing。 


扩展 知识 : 


d-left hashing 中 的 d 是 多 个 的 意思 。 我 们 先 简化 这 个 问题 ， 看 一 看 2-left hashing。2-left hashing 指 的 是 将 一 个 哈 希 表 分 
成 长 度 相等 的 两 半 ， 分 别称 为 T1 和 T2， 给 T1 和 T2 分 别 配 备 哈 希 函数 h1 和 h2。 在 存储 新 的 key 时 ， 同 时 用 两 个 哈 希 函数 进行 计 
算 ， 得 出 两 个 地 址 h1[key] 和 h2[key]。 这 时 需要 检查 T1 中 的 h1[key] 位 置 和 T2 中 的 h2[key] 位 置 ， 看 哪 一 个 位 置 已 经 存储 的 (有 碰 s 
撞 的 ) key 比 较 多 ， 然 后 将 新 key 存 储 在 负载 少 的 位 置 。 如 果 两 边 一 样 多 ， 如 两 个 位 置 都 为 空 或 者 都 存储 了 一 个 key， 则 把 新 key 
存储 在 左边 的 T1 子 表 中 ，2-left 也 由 此 而 来 。 在 查找 一 个 key 时 ， 必 须 进行 两 次 哈 希 函数 计算 ， 同 时 查找 两 个 位 置 。 


6.2.2 ”适用 沁 围 


Hash， 一 般 翻 译 为 “ 散 列 ”， 也 有 直接 音译 为 “ 哈 希 ”的 ， 就 是 把 任意 长 度 的 输入 (也 叫做 预 映射 ，pre-image) ， 通 过 
散 列 算法 变换 成 固定 长 度 的 输出 ， 该 输出 就 是 散 列 值 。 这 种 转换 是 一 种 压缩 映射 ， 也 就 是 散 列 值 的 空间 通常 远 远 小 于 输入 的 空 
间 ， 不 同 的 输入 可 能 会 散 列 成 相同 的 输出 ， 而 不 可 能 从 散 列 值 来 唯一 地 确定 输入 值 。 简 单 地 说 ， 就 是 一 种 将 任意 长 度 的 消息 压缩 
到 某 一 固定 长 度 的 消息 摘要 的 函数 。 


数组 的 特点 是 寻 址 容易 ， 插 入 和 删除 困难 ; 而 链表 的 特点 是 寻 址 困难 ,插入 和 删除 容易 。 那 么 我 们 能 不 能 综合 两 者 的 特性 ， 
做 出 一 种 寻 址 容易 ， 插 入 和 删除 也 容易 的 数据 结构 ”答案 是 肯定 的 ， 这 就 是 我 们 要 提 的 哈 希 表 。 哈 希 表 有 多 种 不 同 的 实现 方法 ， 
接 下 来 讲解 的 是 其 中 最 常用 的 一 种 方法 一 一 拉链 法 ， 可 以 理解 为 “链表 的 数组 ”， 如 图 6.4 所 示 。 


图 6.4 中 左边 很 明显 是 个 数组 ， 数 组 的 每 个 成 员 包 括 一 个 指针 和 指向 一 个 链表 的 头 ， 当 然 这 个 链表 可 能 为 空 ， 也 可 能 有 很 多 
元 素 。 我 们 根据 元 素 的 一 些 特征 把 元 素 分 配 到 不 同 的 链表 中 ， 再 根据 这 些 特 征 找到 正确 的 链表 ， 然 后 从 链表 中 找 出 这 个 元 素 。 
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图 6-4 链表 的 数组 
元 素 特征 转变 为 数组 下 标的 方法 就 是 散 列 法 。 散 列 法 当然 不 止 一 种 ， 下 面 列 出 比较 常用 的 3 种 方法 。 
1. 除 法 散 列 法 


除法 散 列 法 是 最 直观 的 一 种 方法 ， 图 6.4 使 用 的 就 是 这 种 散 列 法 。 学 过 汇编 的 都 知道 公式 h (k) =kmod m， 求 模 数 其 实 是 
通过 一 个 除法 运算 得 到 的 ， 所 以 叫 “除法 散 列 法 ”。 


2. 平 方 散 列 法 


求 index 是 非常 频繁 的 操作 ， 而 乘法 的 运算 要 比 除法 省 时 (对 现在 的 CPU 来 说 ) ， 所 以 我 们 考虑 把 除法 换 成 乘法 和 一 个 位 移 
操作 。 公 式 : index= (value*value) > >28 ( 右 移 ， 除 以 2^28。 记 法 : 左 移 变 大 ， 是 乘 。 右 移 变 小 ， 是 除 ) 


如 果 数 值 分 配 比较 均匀 的 话 ， 这 种 方法 能 得 到 不 错 的 结果 。 如 果 value 很 大 ，value*value 会 溢出 吗 ” 答 案 是 肯定 的 。 但 我 们 
的 这 个 乘法 不 关心 溢出 ， 因 为 我 们 根本 不 是 为 了 获取 相 乘 结果 ， 而 是 为 了 获取 index。 


3. 斐 波 那 契 (Fibonacci) 散 列 法 
平方 散 列 法 的 缺点 是 显而易见 的 ， 能 不 能 找 出 一 个 理想 的 乘 数 ， 而 不 是 拿 value 本 身 当 作 乘 数 呢 ? 答案 是 肯定 的 。 


“ 对 于 16 位 整数 而 言 ， 这 个 乘 数 是 40503 


.对 于 32 位 整数 而 言 ， 这 个 乘 数 是 2654435769 


“ 对 于 64 位 整数 而 言 ， 这 个 乘 数 是 11400714819323198485 


以 上 几 个 “理想 乘 数 ” 是 如 何 得 出 来 的 呢 ? 这 跟 黄 金 分割 法 则 有 关 ， 而 描述 黄金 分 割 法 则 的 最 经 典 表 达 式 无 疑 就 是 著名 的 斐 


波 那 契 数 列 ， 即 如 此 形式 的 序列 : 


0, 1, 1, 2, 3, 5, 8, 13, 21, 34, 55, 89, 144, 233, 377, 610, 987, 1597, 2584, 4181, 6765, 10946, ...。 另 
外 ， 裴 波 那 契 数列 的 值 和 太阳 系 八 大 行星 的 轨道 半径 比例 非常 吻合 。 


对 于 常见 的 32 位 整数 而 言 ， 式 : 


Index = (value * 2034433709) >> 28 


如 果 用 这 种 斐 波 那 契 散 列 法 的 话 ， 那 么 图 6.4 就 会 变 成 图 6.5 所 示 。 
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图 6-5 用 斐 波 那 契 散 列 法 重新 调整 过 的 哈 希 表 
4 .问题 实例 (海量 数据 处 理 ) 
我 们 知道 ， 哈 希 表 在 海量 数据 处 理 中 有 着 广泛 的 应 用 ， 下 面 来 看 一 道 百 度 面 试题 。 
例 2 ”从 海量 日 志 数据 中 ， 提 取出 某 日 访问 百度 次 数 最 多 的 那个 IP。 
方案 : 1IP 的 数目 还 是 有 限 的 ， 最 多 2^32 个 ， 所 以 可 以 考虑 使 用 Hash 将 IP 直 接 存 入 内 存 ， 然 后 进行 统计 。 


注 : 用 辈 波 那 契 散 列 法 调整 之 后 会 比 原来 的 求 模 散 列 法 好 很 多 。 


6.3 位 图 (BitMap ) 


位 图 (BitMap) 就 是 用 一 个 bit 位 来 标记 某 个 元 素 对 应 的 Value， 而 Key 即 是 该 元 素 。 由 于 采用 了 bit 为 单位 来 存储 数据 ， 
此 大 大 节省 了 人 存储 空间 。Bloom Filter 可 以 看 做 是 对 BitMap 的 扩展 。 


6.3.1 基本 思路 

本 节 用 一 个 具体 的 例子 来 讲解 ， 假 设 要 对 0 ~ 7 内 的 5 个 元 素 (4，7，2，5，3) 排序 (假设 这 些 元 素 没有 重复 ) ， 那 么 就 可 
以 采用 BitMap 的 方法 来 达到 排序 的 目的 。 要 表示 8 个 数 ， 就 只 需要 8 个 bit (1Byte) 。 

(1) 首先 开辟 1 字 节 (8bit) 的 空间 ， 将 这 些 空间 的 所 有 bit 位 都 置 为 0， 如 图 6.6 所 示 。 


(2) 遍历 这 5 个 元 素 。 首 先 第 1 个 元 素 是 4， 那 么 就 把 4 对 应 的 bit 位 置 为 1， 因 为 是 从 0 开始 的 ， 所 以 要 把 第 5 个 bit 位 置 为 1， 
如 图 6.7 所 示 。 


(3) 处 理 第 2 个 元 素 7， 将 第 8 个 bit 位 置 为 1， 接 着 再 处 理 第 3 个 元 素 ， 直 到 处 理 完 所 有 元 素 ， 将 相应 的 bit 位 置 为 1， 这 时 内 
存 的 bit 位 状态 如 图 6.8 所 示 。 


图 6-6 ”BitMap 字 节 准 备 


ooobgou 


图 6-7 BitMap 数 据 填充 过 程 


OUUD 


图 6-8 5 个 元 素 (4，7，2，5，3) 的 BitMap 
(4) 最 后 再 遍历 一 遍 bit 区 域 ， 将 该 bit 位 是 1 的 位 的 编号 输出 (2，3，4，5，7) ， 这 样 就 达到 了 排序 的 目的 。 


该 例 的 算法 思想 比较 简单 ， 关 键 点 是 如 何 确定 十 进 制 的 数 映射 到 二 进 制 bit 位 的 Map 图 。 


6.3.2 Map 映射 


假设 需要 排序 或 者 查找 的 总 数 N=10000000。BitMap 中 1bit 代 表 一 个 数字 ，1 个 int=4Byte=48bit=32bit， 那 么 N 个 数 需要 
N/32int 空 间 。 所 以 需要 申请 内 存 空间 的 大 小 为 int a[1+N/32]， 其 中 ，af0] 在 内 存 中 占 32 位 ， 可 以 对 应 十 进 制 数 0~31， 依 此 类 
推 ，BitMap 表 为 : 


那么 十 进 制 数 如 何 转换 为 对 应 的 bit 位 呢 ? 用 位 移 法 可 将 十 进 制 数 转换 为 对 应 的 bit 位 ， 下 面具 体 介 绍 。 
申请 一 个 int 一 维 数组 。 
a[0] 


al[l] 


a[2] 


1, 


例如 ,十进制 1 在 a[0] 中 ， 位 置 如 图 6.9 所 示 。 
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图 6-9 十进制 1 在 al0] 中 


十 进 制 31 在 a[0] 中 ， 位 置 如 图 6.10 所 示 。 
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图 6-10 十进制 31 在 al0] 中 


十 进 制 32 在 a[1] 中 ， 位 置 如 图 6.11 所 示 。 
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图 6-11 十进制 32 在 a[] 中 


十 进 制 33 在 a[1] 中 ， 位 置 如 图 6.12 所 示 。 
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图 6-12 十进制 33 在 a[1] 中 
通过 对 图 6.9~6.12 的 分 析 ， 可 通过 以 下 几 步 将 十 进 制 数 转换 为 对 应 的 bit 位 。 
(1) 求 十 进 制 数 在 对 应 数组 a 中 的 下 标 。 
十 进 制 数 0~31， 对 应 在 数组 a[0] 中 ，32~63 对 应 在 数组 a[1] 中 ，64~95 对 应 在 数组 a[2] 中 .…… 
分 析 得 出 : 对 于 一 个 十 进 制 数 n， 对 应 在 数组 a[n/32] 中 。 


例如 ， 假 设 n=11， 那 么 m/32=0， 则 11 对 应 在 数组 a 中 的 下 标 为 0，n=32， 那 么 nm/32=1， 则 32 对 应 在 数组 a 中 的 下 标 为 
n=106， 那 么 nm/32=3， 则 106 对 应 数组 a 中 的 下 标 为 3。 


(2) 求 十 进 制 数 在 对 应 数组 a 中 中 的 下 标 。 

例如 ， 十 进 制 数 1 在 a[0] 的 下 标 为 1， 十 进 制 数 31 在 a[0] 中 下 标 为 31， 十 进 制 数 32 在 a[1] 中 下 标 为 0。 

在 十 进 制 中 0~31 就 对 应 0~31， 而 32~63 对 应 的 也 是 0~31， 即 给 定 一 个 数 n 可 以 通过 模 32 求 得 在 对 应 数组 a 中 中 的 下 标 。 
分 析 得 出 : 对 于 一 个 十 进 制 数 n， 对 应 在 数组 a[n/32][n%32] 中 。 

(3) 移 位 。 

对 于 一 个 十 进 制 数 n， 对 应 在 数组 a[n/32][n%32] 中 ， 但 数组 a 毕 竟 不 是 一 个 二 维 数组 ， 可 以 通过 移 位 操作 实现 置 1。 


a[n/32] |= 1 <<n% 32 


移 位 操作 : 


a[n>>5] |= 1 << (n & OxlF) 


n&0x1F 保 留 n 的 后 5 位 ， 相 当 于 n%32 求 十 进 制 数 在 数组 a 中 中 的 下 标 。BitMap 位 图 展示 如 图 6.13 所 示 。 


图 6-13 ”BitMap 位 图 展示 


6.3.3 ”适用 沁 围 


BitMap 位 图 的 适用 范围 如 下 : 
. 可 进行 数据 的 快速 查找 、 判 重 、 删 除 ， 一 般 来 说 数据 范围 是 int 的 10 倍 以 下 。 


* 去 重 数据 而 达到 压缩 数据 的 目的 。 


6.4 堆 排 序 (Heapsort) 


堆 排序 (Heapsort) 是 指 利用 堆积 树 ( 堆 ) 这 种 数据 结构 所 设计 的 一 种 排序 算法 ， 它 是 选择 排序 的 一 种 ， 可 以 利用 数组 的 
寺 点 快速 定位 指定 索引 的 元 素 。 堆 分 为 大 顶 堆 和 小 项 堆 ， 是 完全 二 叉 树 。 大 项 扒 的 要 求 是 每 个 节点 的 值 都 不 大 于 其 父 节点 的 值 ， 
即 AI[PARENT[]]> =AD。 在 数组 的 非 降序 排序 中 ， 需 要 使 用 的 就 是 大 项 堆 ， 因 为 根据 大 顶 堆 的 要 求 可 知 ， 最 大 的 值 一 定 在 推 
顶 。 


6.4.1 基本 思路 
利用 大 项 堆 (小 项 堆 ) 堆 顶 记录 的 是 最 大 关键 字 (最 小 关键 字 ) 这 一 特性 ， 使 得 每 次 从 无 序数 组 中 选择 最 大 记录 (最 小 记 
录 ) 变 得 简单 了 。 大 项 堆 的 基本 思想 为 : 


(1) 将 初始 待 排序 关键 字 序列 (R1，Rzhttp://www.hzcourse.comy/resource/readBook? 


path=/openresources/teach ebook/uncompressed/17445/OEBPS/Text/...Rn) 构建 成 大 顶 堆 ， 此 堆 为 初始 的 无 序 区 。 


(2) 将 堆 顶 元 素 RI11 与 最 后 一 个 元 素 RIn] 交 换 ， 此 时 得 到 新 的 无 序 区 


(R1, R>2, http://www.hzcourse.com/resource/readBook? 


path=/openresources/teach ebook/uncompressed/17445/OEBPS/Text/...Rn_1) 和 新 的 有 序 区 (Rn) ， 且 满足 
RI1 ,2http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/17445/OEBPS/Text/...n-1]< = Rin]; 
(3) 由 于 交换 后 新 的 堆 顶 RI1] 可 能 违反 堆 的 性 质 ， 因 此 需要 对 当前 无 序 区 
(R1, R2, http://www.hzcourse.com/resource/readBook? 
path=/openresources/teach_ ebook/uncompressed/17445/OEBPS/Text/.…Rn-1) 调整 为 新 堆 ， 然 后 再 次 将 RI1] 与 无 序 区 最 
后 一 个 元 素 交换 ， 得 到 新 的 无 序 区 (R1，R2http://www.hzcourse.com/resource/readBook? 
path=/openresources/teach ebook/uncompressed/17445/OEBPS/Text/...Rn-2) 和 新 的 有 序 区 (Rn-1，Rn) 。 不 断 重 复 此 
过 程 直到 有 序 区 的 元 素 个 数 为 n-1， 则 整个 排序 过 程 完成 。 
操作 过 程 如 下 : 
(1) 初始 化 堆 ， 将 RI http://www.hzcourse.com/resource/readBook? 
path=/openresources/teach ebook/uncompressed/17445/OEBPS/T ext/.n] 构 造 为 堆 。 
(2) 将 当前 无 序 区 的 堆 顶 元 素 R[I1] 同 该 区 间 的 最 后 一 个 记录 交换 ， 然 后 将 新 的 无 序 区 调整 为 新 的 堆 。 


因此 对 于 堆 排 序 ， 最 重要 的 两 个 操作 就 是 构造 初始 堆 和 调整 堆 ， 其 实 构造 初始 扒 事 实 上 也 是 调整 堆 的 过 程 ， 但 构造 初始 堆 是 
对 所 有 的 非 叶 节点 都 进行 调整 。 


6.4.2 ”适用 沁 围 和 实例 


堆 排序 适合 处 理 海量 数据 ， 并 且 n 比 较 小 ， 堆 可 以 放 入 内 存 的 数据 。 


例如 ， 给 定 一 个 整形 数组 al]={16，7，3，20，17，8}， 对 其 进行 推 排序 。 首 先 根 据 该 数组 元 素 构建 一 个 完全 二 又 树 ， 如 图 
6.14 所 示 。 


图 6-14 ” 整 型 数组 a]={16,7,3,20,17,8} 的 完全 二 又 树 


然后 需要 构造 初始 堆 ， 从 最 后 一 个 非 叶 节 点 开始 调整 ， 调 整 过 程 如 图 6.15 所 示 。 
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图 6-15” 堆 调整 


20 和 16 交 换 后 导致 16 不 满足 堆 的 性 质 ， 因 此 需 重新 调整 ， 得 到 初始 堆 ， 如 图 6.16 所 示 。 


每 次 调整 都 是 从 父 节 点 、 左 孩子 节点 、 右 孩子 节点 三 者 中 选择 最 大 者 跟 父 节点 进行 交换 (交换 之 后 可 能 造成 被 交换 的 孩子 节 
点 不 满足 堆 的 性 质 ， 因 此 每 次 交换 之 后 要 重新 对 被 交换 的 孩子 节点 进行 调整 ) 。 有 了 初始 堆 之 后 就 可 以 进行 排序 了 ， 如 图 6.17 所 


个。 


图 6-16” 整 型 数组 a]={16，7，3，20，17，8} 的 初始 堆 


图 6-17 ”排序 


此 时 3 位 于 堆 顶 不 满足 堆 的 性 质 ， 则 需 继续 调整 ， 如 图 6.18 所 示 。 


图 6-18 ”对 排序 过 程 


从 上 述 过 程 中 可 知 ， 推 排序 其 实 也 是 一 种 选择 排序 ， 是 一 种 树 形 选 择 排序 。 只 是 在 直接 选择 排序 中 ， 为 了 从 


RI http://www.hzcourse.com/resource/readBook?path=/openresources/teach ebook/uncompressed/17445/OEBPS/T ext/.n] 中 选择 最 大 记 


录 ， 需 比较 n-1 次 ， 然 后 从 RI1httpy/wwwhzcoursecoryresource/readBoolke 

path=/openresources/teach ebook/uncompressed/17445/OEBPS/Text/.…n-2] 中 选择 最 大 记录 需 比较 n-2 次 。 事 实 上 这 n-2 次 比较 中 有 很 
多 已 经 在 前 面 的 n-1 次 比较 中 做 过 了 ， 而 树 形 选择 排序 恰好 利用 树 形 的 特点 保存 了 前 面部 分 的 比较 结果 ， 因 此 可 以 减少 比较 次 
数 。 对 于 n 个 关键 字 序列 ， 最 坏 情 况 下 每 个 节点 需 比 较 log2 (n) 次 ， 因 此 其 最 坏 情况 下 时 间 复 杂 度 为 nlogn。 扒 排序 为 不 稳定 
排序 ， 不 适合 记录 较 少 的 排序 。 


6.5” 双 层 桶 划分 


与 其 说 双 层 桶 划分 是 一 种 数据 结构 ， 不 如 说 它 是 一 种 算法 设计 思想 。 面 对 一 堆 大 量 的 数据 无 法 处 理 的 时 候 ， 可 以 将 其 分 成 一 
个 个 小 的 单元 ， 然 后 根据 一 定 的 策略 来 处 理 这 些小 单元 ， 从 而 达到 目的 。 


6.5.1 基本 思路 


因为 元 素 范围 很 大 ， 不 能 利用 直接 寻 址 表 ， 所 以 可 通过 多 次 划分 ， 逐 步 确定 范围 ， 然 后 在 一 个 可 以 接受 的 范围 内 进行 。 可 以 
通过 多 次 划分 来 缩小 范围 ， 双 层 只 是 一 个 例子 ,分 治 才 是 其 根本 。 


6.5.2 ”适用 学 围 和 实例 


双 层 桶 划分 法 适用 于 数据 库 范 围 查 询 ， 如 寻找 第 k 大 、 中 位 数 、 不 重复 (或 重复 ) 的 数字 。 下 面 举 例 介 绍 。 
例 3 ”从 2.5 亿 个 整数 中 找 出 不 重复 的 整数 的 个 数 ， 内 存 空间 不 足以 容纳 这 2.5 亿 个 整数 。 


该 例 有 点 像 鸟 巢 原 理 ， 整 数 个 数 为 2^32， 那 么 可 以 将 这 2^ 32 个 数 划分 为 2^8 个 区 域 如 用 单个 文件 代表 一 个 区 域 ， 然 后 将 数 
据 分 离 到 不 同 的 区 域 ， 不 同 的 区 域 再 利用 BitMap 就 可 以 直接 解决 了 。 也 就 是 说 只 要 有 足够 的 磁盘 空间 ， 就 可 以 很 方便 地 解决 。 


例 4 从 5 亿 个 int 中 找 它们 的 中 位 数 。 


中 位 数 是 指数 据 排序 后 ， 位 置 在 最 中 间 的 数值 ， 即 将 数据 分 成 两 部 分 ， 一 部 分 大 于 该 数值 ， 一 部 分 小 于 该 数值 。 中 位 数 的 位 
置 : 当 样 本 数 为 奇数 时 ， 中 位 数 = (N+1) /2; 当 样 本 数 为 偶数 时 ， 中 位 数 为 NM2 与 1+ N/2 的 均值 (那么 10GB 个 数 的 中 位 数 ， 
就 是 第 5GB 大 的 数 与 第 5GB+ 1 大 的 数 的 均值 了 ) 。 


首先 将 int 划 分 为 2^16 个 区 域 ， 然 后 读 取 数 据 统 计 落 到 各 个 区 域 里 的 数 的 个 数 ， 之 后 根据 统计 结果 就 可 以 判断 中 位 数落 到 了 
那个 区 域 ， 同 时 知道 这 个 区 域 中 的 第 几 个 大 数 刚好 是 中 位 数 。 第 二 次 扫 拉 只 用 计数 排序 落 在 这 个 区 域 中 的 那个 数 就 可 以 了 。 


说 明 : 整数 范围 是 0~2^32 ~ 1， 一 共有 4GB 种 取 值 。 映 射 到 256MB 个 区 段 ， 则 每 个 区 段 有 16 (4GB/256MB=16) 种 值 ， 
每 16 个 值 算 一 段 ，0 ~ 15 是 第 1 段 ，16 ~ 31 是 第 2 段 ，.……2^32-16 ~ 2^32-1 是 第 256MB 段 。 一 个 64 位 无 符号 整数 的 最 大 值 是 0 
~ 8GB-1， 这 里 先 不 考虑 溢出 的 情况 ， 总 共 占 用 内 存 是 256MBx8B=2GB。 


实际 上 ， 如 果 不 是 int 是 int64， 我 们 可 以 经 过 3 次 这 样 的 划分 即 可 降低 到 可 以 接受 的 程度 。 即 可 以 先 将 int64 分 成 2^24 个 区 


域 ， 然 后 确定 区 域 的 第 几 个 大 数 ， 再 将 该 区 域 分 成 2^20 个 子 区 域 ， 然 后 确定 是 子 区 域 的 第 几 个 大 数 ， 之 后 子 区域 里 的 数 的 个 数 
只 有 2^20， 就 可 以 直接 利用 directaddr table 进 行 统 计 了 。 


例 5 ”现在 有 一 个 0 ~ 30000 的 随机 数 生成 器 ， 请 根据 这 个 随机 数 生成 器 ， 设 计 一 个 抽奖 范围 是 0 ~ 350000 彩 票 中 奖 号 码 列 
表 ， 其 中 要 包含 20000 个 中 奖 号 码 。 


该 例 刚好 和 上 面 的 两 个 例子 相反 ， 一 个 0 ~ 3 万 的 随机 数 生成 器 要 生成 一 个 0 ~ 35 万 的 随机 数 。 那 么 我 们 完全 可 以 将 0 ~ 35 万 
的 区 间 分 成 35/3=12 个 区 间 ， 然 后 每 个 区 间 的 长 度 都 小 于 等 于 3 万 ， 这 样 就 可 以 用 题目 给 的 随机 数 生 成 器 来 生成 了 ， 然 后 再 加 上 
该 区 间 的 基数 。 那 么 每 个 区 间 要 生成 多 少 个 随机 数 呢 ? 计算 公式 是 : 区 间 长 度 x 随 机 数 密度 ， 在 本 题目 中 就 是 
30000x (20000/350000) 。 最 后 要 注意 一 点 ,该 例 是 有 隐 合 条 件 的 (彩票 ) 意味 着 生成 的 随机 数 里 不 能 有 重复 数 ， 这 也 是 这 
里 为 什么 用 双 层 桶 划分 的 另外 一 个 原因 。 


6.6 数据库 索引 


索引 是 对 数据 库 表 中 一 个 或 多 个 列 (例如 ，employee 表 的 姓名 (name) 列 ) 的 值 进行 排序 的 结构 。 如 果 想 按 特 定 职员 的 
姓氏 来 查找 某 个 职员 ， 则 与 在 表 中 搜索 所 有 的 行 相 比 ， 索 引 可 以 更 快 地 获取 信息 。 


例如 ， 有 这 样 一 个 查询 : select*from table1where id=10000。 如 果 没 有 索引 ， 必 须 遍 历 整个 表 ， 直 到 ID 等 于 10000 的 这 
一 行 被 找到 为 止 ， 有 了 索引 之 后 (必须 是 在 ID 这 一 列 上 建立 的 索引 ) ， 即 可 在 索引 中 查找 。 由 于 索引 是 经 过 某 种 算法 优化 过 
的 ， 因 而 查找 次 数 少 很 多 。 可 见 ， 索 引 是 用 来 定位 的 。 


索引 的 一 个 主要 目的 就 是 加 快 检索 表 中 数据 的 方法 ， 即 能 协助 信息 搜索 者 尽快 地 找到 符合 限制 条 件 记录 ID 的 辅助 数据 结 
构 。 从 数据 搜索 实现 的 角度 来 看 ， 索 引 也 是 另外 一 类 文件 /记录 ， 它 包含 着 可 以 指示 出 相关 数据 记录 的 各 种 记录 。 其 中 ， 每 一 条 
索引 都 有 一 个 相对 应 的 搜索 码 ， 字 符 段 的 任意 一 个 子 集 都 能 够 形成 一 个 搜索 码 。 这 样 ， 索 引 就 相当 于 所 有 数据 目录 项 的 一 个 集 
合 ， 它 能 为 既定 的 搜索 码 值 的 所 有 数据 目录 项 ， 提 供 定 位 所 需 的 各 种 有 效 支 持 。 


6.6.1 思路 


利用 数据 的 设计 实现 方法 ， 对 海量 数据 的 增 、 删 、 改 、 查 进行 处 理 。 


数据 库 索 引 是 数据 库 管理 系统 中 一 个 排序 的 数据 结构 ， 以 协助 快速 查询 、 更 新 数据 库 表 中 的 数据 。 索 引 的 实现 通常 使 用 B 树 
及 其 变种 B+ 树 。 


数据 库 索 引 就 像 一 本 书 前 面 的 目录 ， 能 加 快 数据 库 的 查询 速度 。 索 引 分 为 聚 徐 索 引 和 非 聚 徐 索 引 两 种 ， 聚 簇 索 引 是 按照 数据 
存放 的 物理 位 置 为 顺序 的 ， 而 非 聚 簇 索 引 位 置 随机 存放 ; 聚 徐 索 引 能 提高 多 行 检 索 的 速度 ， 而 非 聚 簇 索 引 对 于 单行 的 检索 很 快 。 


根据 数据 库 的 功能 ， 可 以 在 数据 库 设 计 器 中 创建 3 种 索引 : 唯一 索引 、 主 键 索引 和 聚集 索引 。 
1. 唯 一 索引 


唯一 索引 是 不 允许 其 中 任何 两 行 具有 相同 索引 值 的 索引 。 当 现 有 数据 中 存在 重复 的 键 值 时 ， 大 多 数 数据 库 不 允许 将 新 创建 的 
唯一 索引 与 表 一 起 保存 。 数 据 库 还 可 能 防止 添加 将 在 表 中 创建 重复 键 值 的 新 数据 。 例 如 ， 如 果 在 Employee 表 中 职员 的 姓 


(Iname) 上 创建 了 唯一 索引 ， 则 任意 的 两 个 职员 都 不 能 同姓 。 
2. 主 键 索引 
主键 索引 是 唯一 索引 的 特殊 类 型 。 


数据 库 表 经 常 有 一 列 或 多 列 组 合 ， 其 值 唯一 标识 表 中 的 每 一 行 ， 该 列 称 为 表 的 主键 。 在 数据 库 关 系 图 中 为 表 定 义 的 主键 将 自 
动 创建 主键 索引 ， 主 键 索引 是 唯一 索引 的 特定 类 型 。 主 键 索 引 要 求 主 键 中 的 每 个 值 都 唯一 。 当 在 查询 中 使 用 主键 索引 时 ， 还 允许 
对 数据 的 快速 访问 。 


3. 聚 集 索引 


在 聚集 索引 中 ， 表 中 行 的 物理 顺序 与 键 值 的 逻辑 (索引 ) 顺序 相同 。 一 个 表 只 能 包含 一 个 聚集 索引 。 如 果 某 索引 不 是 聚集 索 
引 ， 则 表 中 行 的 物理 顺序 与 键 值 的 逻辑 顺序 不 匹配 。 与 非 聚集 索引 相 比 ， 聚 集 索引 通常 提供 更 快 的 数据 访问 速度 。 


6.6.2 ”适用 沁 围 


数据 库 索 引 可 用 于 提高 数据 库 表 的 数据 访问 速度 ， 是 数据 库 管 理 系统 中 一 个 排序 的 数据 结构 ， 可 以 协助 快速 查询 、 更 新 数据 
库 表 中 的 数据 ， 实 现 大 数据 量 的 增 、 删 、 改 、 查 操作 。 


6.7_” 倒 排 索 引 (lnverted index) 


倒 排 索引 源 于 实际 应 用 中 需要 根据 属性 的 值 来 查找 记录 。 这 种 索引 表 中 的 每 一 项 都 包括 一 个 属性 值 和 具有 该 属性 值 的 各 记录 
的 地 址 。 由 于 不 是 由 记录 来 确定 属性 值 ， 而 是 由 属性 值 来 确定 记录 的 位 置 ， 因 而 称 为 倒 排 索引 (Inverted Index) 。 带 有 倒 排 索 
引 的 文件 称 为 倒 排 索引 文件 ， 简 称 倒 排 文件 (Inverted File) 。 


6.7.1 基本 思路 


下 面 先 给 出 一 个 具体 的 实例 来 了 解 下 一 般 的 构造 过 程 。 先 避 开 有 具体 的 实现 方式 ， 给 定 下 面 一 组 词句 。 
Doc1: Mike spoken English Frequently at home and he can write English every day. 
Doc2: : Mike plays football very well. 


首先 我 们 必须 清楚 ， 我 们 需要 的 是 一 些 关 键 的 信息 ， 因 此 一 些 修饰 词 等 都 需要 省 略 ， 动 词 的 时 态 变化 等 都 需要 还 原 ， 如 果 代 
词 指 的 是 同一 个 人 那么 也 能 够 省 略 ， 于 是 上 面 的 句子 可 以 简化 成 


Doc1: Mike spoken English home.write English. 


Doc2: Mike play football. 


下 面 进行 索引 的 倒 排 构建 。 因 为 Mike 出 现在 Doc1 和 Doc2 中 ， 所 以 可 以 构建 Mike: {1，2}， 后 面 词 的 构建 也 是 同样 的 道 
理 。 最 后 的 关系 就 会 构成 词 对 应 于 索引 位 置 的 映射 关系 。 理 解 了 这 个 过 程 之 后 ， 下 面 就 可 以 介绍 BSBI (基于 磁盘 的 外 部 排序 构 
建 索 3 引 ) 和 SPIMI (内 存单 遍 扫 描 构建 索引 ) 算法 了 ， 一 般 来 说 ，SPIM 算 法 比 BSBI 算 法 常用 。 


1.BSBI 算 法 

BSBI 算 法 的 主要 步骤 如 下 : 

(1) 将 文档 中 的 词 进行 ID 映射 ， 这 里 可 以 用 Hash 的 方法 去 构造 。 
(2) 将 文档 分 割 成 大 小 相等 的 几 部 分 。 

(3) 将 每 部 分 按照 词 1D 对 上 文档 ID 的 方式 进行 排序 。 

(4) 将 每 部 分 排序 后 的 结果 进行 合并 ， 最 后 写 入 磁盘 中 。 

(5) 然后 递归 地 执行 ， 直 到 文档 内 容 全 部 完成 这 一 系列 操作 。 


BSBI 算 法 步骤 示意 图 ， 如 图 6.19 所 示 。 


关于 其 中 的 排序 算法 的 选择 ， 一 般 建议 使 用 效果 比较 好 的 快速 排序 算法 ， 这 里 为 了 方便 ， 用 了 笔者 更 熟悉 的 冒 泡 排序 算法 。 


合并 后 的 倒 排 记录 表 


待 合并 的 倒 排 记录 表 dl, d3, d6, d7 


brutus dl1, d3 brutus dl1,d2, d4, d8， d9 
caesar dl1,d2,d4 caesar juli d10 

noble d5 julius 1 d8 

with dl,d2,d3,d5 | | killed ) d5 


dl,d2, d3, d5 


磁盘 


图 6-19 ”BSBI 算 法 步骤 示意 图 
2.SPIM| 算 法 


接 下 来 介绍 SPIMI 算 法 ， 即 内 存单 遍 扫描 算法 。SPIMI 算 法 与 BSBI 算 法 最 大 的 不 同 点 就 是 SPIM| 算 法 无 须 做 ID 的 转换 ， 而 是 
采用 了 词 对 索引 的 直接 关联 。 此 外 ， 还 有 一 个 比较 大 的 特点 是 SPIM| 算 法 不 经 过 排序 ， 直 接 按 照 先后 顺序 构建 索引 。SPIM| 算 法 
的 主要 步骤 如 下 : 


(1) 对 每 个 块 构造 一 个 独立 的 倒 排 索引 。 


(2) 最 后 将 所 有 独立 的 倒 排 索引 进行 合并 即 可 。 


为 了 使 SPIM| 算 法 的 实现 过 程 更 简化 ， 可 以 直接 在 内 存 中 完成 所 有 的 构建 工作 ， 这 一 点 读者 要 注意 。SPIMI 算 法 相对 比较 简 
单 ， 这 里 就 不 给 出 步骤 示意 图 了 。 


6.7.2 ”适用 沁 围 


倒 排 索引 被 用 来 存储 在 全 文 搜索 下 某 个 单词 在 一 个 文档 或 者 一 组 文档 中 的 存储 位 置 的 映射 ， 是 文档 检索 系统 中 最 常用 的 数据 
结构 。 通 过 倒 排 索引 ， 可 以 根据 单词 快速 获取 包含 这 个 单词 的 文档 列表 。 现 在 的 搜索 引 警 的 索引 ， 都 是 基于 倒 排 索 引 的 。 相 比 签 
名 文件 、 后 缀 树 等 索引 结构 ， 倒 排 索引 是 实现 单词 到 文档 映射 关系 的 最 佳 实现 方式 和 最 有 效 的 索引 结构 ， 适 用 于 搜索 引擎 、 关 键 


字 查 询 等 。 


6.8 外 排序 


外 排序 指 的 是 对 大 文件 的 排序 ， 当 待 排序 的 文件 很 大 时 ， 无 法 将 整个 文件 的 所 有 记录 同时 调 入 内 存 中 进行 排序 ， 只 能 将 文件 
存放 在 外 存储 器 中 ， 这 种 排 称 为 外 排序 。 外 排序 的 过 程 主要 是 依据 数据 的 内 、 外 存 交换 和 “内 部 归并 ”两 者 结合 起 来 实现 的 。 


外 排序 最 常用 的 算法 是 多 路 归并 排序 ， 即 将 原文 件 分 解 成 多 个 能 够 一 次 性 装 入 内 存 的 部 分 ， 然 后 分 别 把 每 一 部 分 调 入 内 存 完 
成 排序 ， 最 后 对 已 经 排序 的 子 文件 进行 归并 排序 。 


6.8.1 基本 思路 


外 排序 一 般 分 为 两 个 步骤 : 预 处 理 和 合并 排序 。 首 先 ， 根 据 可 用 内 存 的 大 小 ， 将 外 存 上 含有 n 个 记录 的 文件 分 成 若干 长 度 为 t 
的 子 文件 (或 段 ) 。 其 次 , 利用 内 部 排序 的 方法 ， 对 每 个 子 文件 的 t 个 记录 进行 内 部 排序 。 这 些 经 过 排序 的 子 文件 ( 段 ) 通常 称 
为 顺 串 (run) ， 顺 捉 生 成 后 即将 其 写 入 外 存储 器 中 。 这 样 在 外 存储 器 中 上 就 得 到 了 m 个 顺 串 (m=[n/) 。 最 后 ， 对 这 些 顺 串 
进行 归并 ， 使 顺 串 的 长 度 逐 渐 增 大 ， 直 到 所 有 待 排 序 的 几率 成 为 一 个 顺 串 为 止 。 


1. 外 排序 通常 采用 的 是 一 种 “排序 -归并 ”的 策略 


在 排序 阶段 ， 先 读 入 能 放 在 内 存 中 的 数据 量 ， 将 其 排序 后 输出 到 一 个 临时 文件 中 。 依 此 进行 ， 将 待 排序 数据 组 织 为 多 个 有 序 
的 临时 文件 。 然 后 在 归并 阶段 将 这 些 临时 文件 组 合 为 一 个 大 的 有 序 文 件 ， 即 排序 结果 。 


假定 现在 有 20 个 数据 的 文件 A: {5 11018414976812171613191021315}， 但 一 次 只 能 使 用 仅 装 4 个 数据 的 内 
容 ， 所 以 可 以 每 趟 对 4 个 数据 进行 排序 ， 即 5 路 归并 ， 有 具体 方法 和 步骤 如 下 。 


我 们 先 把 “大 ”文件 A， 分 割 为 81，a2，a3，a4，a5 等 5 个 小 文件 ， 每 个 小 文件 有 4 个 数据 ， 
“al 文件 为 : 5 11 0 18; 


a2 文 件 为: 4 14 9 7; 


.33 文件 为 : 6 8 12 17; 


. 对 文件 为 : 16 13 19 10; 


"a5 文件 为 : 2 1 3 15。 


然后 依次 对 5 个 小 文件 分 别 进行 排序 。 


. al 文 件 完成 排序 后 : 0 5 11 18; 


. a2 文 件 完成 排序 后 : 4 7 9 14; 


33 文件 完成 排序 后 : 6 8 12 17; 


. a4 文 件 完成 排序 后 : 10 13 16 19; 


"a5 文件 完成 排序 后 : 1 2 3 15。 

最 终 多 路 归并 ， 完 成 整个 排序 。 

大 文件 A 文件 完成 排序 后 为 : 012345678910111213141516171819。 
2. 多 路 归并 排序 


从 2 路 到 多 路 (k 路 ) ， 增 大 k 可 以 减少 外 存储 器 信息 的 读 写 时 间 ， 但 k 个 归并 段 中 选取 最 小 的 记录 需要 比较 k-1 次 。 为 得 到 u 
个 记录 的 一 个 有 序 段 ， 共 需要 (u-1) (k-1) 次 。 若 归并 趟 数 为 s 次 ， 那 么 对 n 个 记录 的 文件 进行 外 排 时 ， 内 部 归并 过 程 中 进行 
的 总 比较 次 数 为 s(n-1) (k-1) ， 若 共有 m 个 归并 段 ， 则 s=logkm， 所 以 总 的 比较 次 数 为 (向 上 取 整 ) (logkm) (k-1) 

(n-1) = (向 上 取 整 ) (log2m/log2k) (k-1) (n-1)， 而 (k-1) /log2k 随 k 增 大 而 增 大 ， 因 此 内 部 归并 时 间 随 k 增 大 而 增 
加 了 ， 抵 消 了 读 写 外 人 存储 器 信息 读 写 所 减少 的 时 间 ， 这 样 做 不 行 ， 由 此 引出 了 “ 败 者 树 ”tree of loser 的 使 用 。 在 内 部 归并 过 程 
中 利用 败 者 树 将 k 个 归并 段 中 选取 最 小 记录 比较 的 次 数 降 为 (向 上 取 整 ) (log2k) 次 ,使 总 比较 次 数 为 (向 上 取 整 ) 

(log2m) (n-1)， 与 k 无 关 。 


败 者 树 是 完全 二 叉 树 ， 因 此 数据 结构 可 以 采用 一 维 数组 。 其 元 素 个 数 为 k 个 叶子 节点 、k-1 个 比较 节点 、1 个 冠军 节点 ， 共 2k 
个 。1s[0] 为 冠军 节点 ，Is[1]--lstk-1] 为 比较 节点 ，Is[k]j--ls[2k-1] 为 叶子 节点 (同时 用 另外 一 个 指针 索引 b[0]--b[k-1] 指 向 ) 。 另 


外 ，bk 为 一 个 附加 的 辅助 空间 ， 不 属于 败 者 树 ， 初 始 化 时 存 着 主键 (MINKEY) 的 值 。 
多 路 归并 排序 算法 的 过 程 大 致 如 下 。 


(1) 将 k 个 归并 段 中 的 首 元 素 关键 字 依次 存 入 b[0]--b[k-1] 的 叶子 节点 空间 里 ， 然 后 调用 CreateLoserTree 创 建 败 者 树 ， 创 
建 完毕 之 后 最 小 的 天 键 字 下 标 ( 即 所 在 归并 段 的 序号 ) 便 被 分 入 Is[0] 中 。 然 后 不 断 循 环 。 


(2) 把 ls[0] 所 存 的 最 小 关键 字 来 自 于 哪个 归并 段 的 序号 定义 为 9， 将 该 归并 段 的 首 元 素 输出 到 有 序 归并 段 里 。 然 后 把 下 一 
个 元 素 关 键 字 放 入 上 一 个 元 素 本 来 所 在 的 叶子 节点 b[q] 中 ， 调 用 Adjust 顺 着 b[q] 这 个 叶子 节点 往 上 调整 败 者 树 直到 新 的 最 小 的 关 
键 字 被 选 出 来 ， 其 下 标 同样 存在 ls[0] 中 。 人 循环 这 个 操作 过 程 直至 所 有 元 素 被 写 入 有 序 归 并 段 里 。 


6.8.2 ”适用 沁 围 


外 部 排序 是 在 排序 期 间 全 部 对 象 个 数 太 多 ， 不 能 同时 存 入 内 存 ， 必 须根 据 排序 过 程 的 要 求 ， 不 断 在 内 、 外 存 之 间 移 动 的 排 
序 ， 常 见 的 有 外 归并 排序 法 。 外 部 排序 适用 于 大 数据 的 排序 、 去 重 。 


6.9 Trie 树 


单词 查找 树 Trie 树 是 一 种 树 形 结构 ， 是 一 种 哈 希 树 的 变种 。 典 型 应 用 是 用 于 统计 、 排 序 和 保存 大 量 的 字符 串 (但 不 仅 限 于 字 
符 串 ) ， 所 以 经 常 被 搜索 引 警 系统 用 于 文本 词 频 统计 。Trie 树 的 优点 是 : 利用 字符 串 的 公共 前 缀 来 减少 查询 时 间 ， 最 大 限度 地 减 
少 无 谓 的 字符 串 比较 ， 查 询 效率 比 哈 希 树 高 。 


Trie 树 的 核心 思想 是 空间 换 时 间 ， 利 用 字符 串 的 公共 前 缀 来 降低 查询 时 间 的 开销 ， 以 达到 提高 效率 的 目的 。 


6.9.1 Trie 树 的 基本 性 质 


Trie 树 的 基本 性 质 如 下 : 
. 根 节点 不 包含 字符 ， 除 根 节点 以 外 的 每 个 节点 只 包含 一 个 字符 。 
从 根 节点 到 某 一 个 节点 路 径 上 经 过 的 字符 连接 起 来 ， 为 该 节点 对 应 的 字符 串 。 


. 每 个 节点 的 所 有 子 节点 包含 的 字符 串 不 相同 。 


6.9.2 Trie 树 的 基本 实现 


字母 树 的 插入 (Insert) 、 删 除 (Delete) 和 查找 (Find) 都 非常 简单 ， 用 一 个 一 重 循环 即 可 ， 即 第 i 次 循环 找到 前 i 个 字母 
所 对 应 的 子 树 ， 然 后 进行 相应 的 操作 。 实 现 字 母树 最 常用 的 方法 是 数组 保存 (静态 开辟 内 存 ) 。 当 然 也 可 以 使 用 动态 的 指针 类 型 
(动态 开辟 内 存 ) 。 至 于 节点 对 子 节点 的 指向 ,一 般 有 以 下 3 种 方法 。 


对 每 个 节点 开 一 个 字母 集 大 小 的 数组 ， 对 应 的 下 标 是 子 节点 所 表示 的 字母 ， 内 容 则 是 这 个 子 节点 对 应 在 大 数组 上 的 位 置 ， 


即 标号 。 
“ 对 每 个 节点 挂 一 个 链表 ， 按 一 定 顺 序 记录 每 个 儿子 是 谁 ( 即 每 个 节点 对 应 的 子 节点 ) 。 
. 使 用 “ 左 儿子 右 兄弟 ”表示 法 记录 这 棵 树 。 


以 上 3 种 方法 各 有 特点 。 第 1 种 方法 容易 实现 ， 但 实际 的 空间 要 求 较 大 ; 第 2 种 方法 也 较 易 实现 ， 空 间 要 求 相对 较 小 ， 但 比较 
费时 ; 第 3 种 方法 空间 要 求 最 小 ， 但 相对 费时 且 不 易 写 。 


可 以 采用 双 数 组 (Double-Array) 实现 Trie 树 的 高 级 形式 ， 利 用 双 数 组 可 以 大 大 减 小 内 存 使 用 量 。 


6.9.3 Trie 树 的 应 用 


Trie 树 是 一 种 非常 简单 、 高 效 的 数据 结构 ， 并 且 有 大 量 的 应 用 实例 。 
1. 字 符 串 检索 


事先 将 已 知 的 一 些 字符 串 (字典 ) 的 有 关 信 息 保 存 到 Trie 树 里 ， 查 找 另外 一 些 未 知 字符 串 是 否 出 现 过 或 者 出 现 的 频率 。 例 
如 : 


“ 给 出 NN 个 单词 组 成 的 熟 词 表 ， 以 及 一 篇 全 用 小 写 英文 书写 的 文章 ， 请 按 最 早出 现 的 顺序 写 出 所 有 不 在 熟 词 表 中 的 生词 。 


“ 给 出 一 个 词典 ， 其 中 的 单词 为 不 良 单词 。 单 词 均 为 小 写字 母 。 再 给 出 一 段 文本 ， 文 本 的 每 一 行 也 由 小 写字 母 构 成 。 判 断 文 
本 中 是 否 含有 任何 不 良 单词 。 例 如 ， 若 fob 是 不 良 单词 ， 那 么 文本 pfoblem 则 含有 不 良 单词 。 


2. 字 符 串 最 长 公共 前 缀 


Trie 树 利用 多 个 字符 串 的 公共 前 缀 来 节省 存储 空间 ， 反 之 ， 当 我 们 把 大 量 字符 串 存储 到 一 棵 Trie 树 上 时 ， 可 以 快速 得 到 某 些 


字符 串 的 公共 前 缀 。 
例如 ， 给 出 N 个 小 写 贡 文字 母 串 ， 以 及 Q 个 询问 ， 即 询问 某 两 个 串 的 最 长 公共 前 缀 的 长 度 是 多 少 ? 


解决 方案 : 首先 对 所 有 的 串 建 立 其 对 应 的 字母 树 。 此 时 发 现 ， 对 于 两 个 串 的 最 长 公共 前 缀 的 长 度 即 它们 所 在 节点 的 公共 祖先 
个 数 ， 于 是 问题 就 转化 为 了 离线 (Offline) 的 最 近 公 共 祖 先 (Least Common Ancestor，LCA) 问题 。 


而 最 近 公 共 祖 先 问题 同样 是 一 个 经 典 问题 ， 可 以 用 下 面 两 种 方法 : 

. 利用 并 查 集 (Disjoint Set) ， 可 以 采用 经 典 的 Tatjan 算 法 。 

. 求 出 字母 树 的 欧 拉 序列 (Euler Sequence) 后 ， 就 可 以 转 为 经 典 的 最 小 值 查询 (Range Minimum Query，RMQ) 问题 。 
3. 排 序 

Trie 树 是 一 棵 多 叉 树 ， 只 要 先 遍历 整 棵 树 ， 输 出 相应 的 字符 串 便 是 按 字 典 序 排序 的 结果 。 

例如 ， 给 出 N 个 互 不 相同 的 仅 由 一 个 单词 构成 的 英文 名 ， 将 它们 按 字典 序 从 小 到 大 排序 输出 。 


此 外 ，Trie 树 还 可 作为 其 他 数据 结构 和 算法 的 辅助 结构 ， 如 后 缀 树 、AC 自 动机 等 ， 这 里 不 再 展开 介绍 。 


6.9.4 “Trie 树 复杂 度 分 析 


(1) 插入 、 查 找 的 时 间 复 杂 度 均 为 O(N) ， 其 中 N 为 字符 串 长 度 。 
(2) 空间 复杂 度 是 26^n 级 别 的 ， 非 常 庞大 (可 采用 双 数 组 实现 改善 )。 


Trie 树 是 一 种 非常 重要 的 数据 结构 ， 在 信息 检索 、 字 符 串 匹配 等 领域 有 广泛 的 应 用 ， 同 时 ， 它 也 是 很 多 算法 和 复杂 数据 结构 
的 基础 ， 如 后 缀 树 、AC 自 动机 等 ， 因 此 掌握 Trie 树 这 种 数据 结构 ， 对 于 一 名 IT 人 员 ， 是 非常 必要 的 。 


6.10 分布 式 处 理 (Map Reduce) 


在 讲解 分 布 式 处 理 之 前 ， 先 来 看 下 这 个 问题 : 现 有 上 干 万 ( 亿 ) 数据 (有 重复 ) ， 统 计 其 中 出 现 次 数 最 多 的 前 N 个 数据 。 分 
两 种 情况 : 可 一 次 读 入 内 存 ， 不 可 一 次 读 入 内 存 。 


可 用 思路 : Trie 树 + 堆 排 序 、 数 据 库 索引 、 划 分 子 集 分 别 统计 、Hash、 分 布 式 计算 、 近 似 统计 、 外 排序 。 


是 否 能 一 次 读 入 内 存 ， 实 际 上 应 该 取决 于 去 除 重复 后 的 数据 量 。 如 果 去 重 后 的 数据 可 以 放 入 内 存 ， 那 么 可 以 为 数据 建立 字 
前 


现 次 数 最 多 的 前 N 个 数据 ， 当 然 这 样 会 导致 维护 次 数 增加 ， 不 如 完全 统计 后 再 求 前 N 个 数据 的 方法 效率 高 。 


如 果 数 据 无 法 放 入 内 存 ， 一 方面 可 以 考虑 上 面 的 字典 方法 能 否 被 改进 以 适应 这 种 情形 ， 可 以 做 的 改变 就 是 将 字典 存放 到 硬盘 
上 而 不 是 内 存 中 ， 可 以 参考 数据 库 的 存储 方法 。 


当然 还 有 更 好 的 方法 ， 就 是 可 以 采用 分 布 式 计算 ， 基 本 上 就 是 Map Reduce 过 程 ， 首 先 可 以 根据 数据 值 或 者 把 数据 
hash (md5) 后 的 值 ， 将 数据 按照 范围 划分 到 不 同 的 计算 机 上 ， 最 好 可 以 让 数据 划分 后 可 以 一 次 读 入 内 存 ， 这 样 不 同 的 计算 机 
负责 处 理 各 种 的 数值 范围 ， 实 际 上 就 是 Map。 得 到 结果 后 ， 各 人 台 计 算 机 只 需 拿 出 各 自 的 出 现 次 数 最 多 的 前 N 个 数据 然后 汇总 ， 选 
出 所 有 的 数据 中 出 现 次 数 最 多 的 前 N 个 数据 ， 这 实际 上 就 是 Reduce 过 程 。 

直接 将 数据 均 分 到 不 同 的 计算 机 上 进行 处 理 ， 是 无 法 得 到 正确 解 的 。 因 为 一 个 数据 可 能 被 均 分 到 不 同 的 计算 机 上 ， 而 另 一 个 


数据 则 可 能 完全 聚集 在 一 台 计 算 机 上 ， 还 可 能 存在 具有 相同 数值 的 数据 。 因 此 不 能 将 数据 随便 均 分 到 不 同 的 计算 机 上 ， 而 是 要 根 
据 hash 后 的 值 将 它们 映射 到 不 同 的 计算 机 上 进行 处 理 ， 让 不 同 的 计算 机 处 理 一 个 数值 范围 。 


而 外 排序 的 方法 会 消耗 大 量 的 I/O 资 源 ， 效 率 不 会 很 高 。 而 上 面 的 分 布 式 方法 ， 也 可 以 用 于 单机 版 本 ， 也 就 是 将 总 的 数据 根 
据 值 的 范围 ， 划 分 成 多 个 不 同 的 子 文件 ， 然 后 逐个 处 理 。 处 理 完毕 之 后 再 对 这 些 单词 的 及 其 出 现 频率 进行 归并 可 以 利用 外 排序 的 
归并 过 程 。 

另外 还 可 以 考虑 近似 计算 ， 我 们 可 以 通过 结合 自然 语言 属性 ， 只 将 实际 中 出 现 最 多 的 词 作 为 字典 ， 使 得 这 个 字典 规模 可 以 放 
入 内 存 。 


下 面 以 Hadoop 项 目的 结构 图 来 说 明 Map Reduce 所 处 的 位 置 ， 如 图 6.20 所 示 。 
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图 6-20 ”Hadoop 项 目 结 构图 


注 : Pig 是 一 种 操作 Hadoop 的 轻 量 级 脚本 语言 ， 最 初 由 雅虎 公司 推出 ， 但 现在 已 经 在 走 下 坡 路 了 。 雅 虎 在 退出 对 Pig 的 维护 
之 后 将 它 的 开源 贡献 到 开源 社区 由 所 有 爱好 者 来 维护 。 个 人 认为 与 其 使 用 Pig 不 如 使 用 Hive。 


Pig 是 一 种 数据 流 语言 ， 用 来 快速 、 轻 松 地 处 理 庞 大 的 数据 。Pig 包 含 两 个 部 分 : Pig Interface 和 Pig Latin。 
Pig 可 以 非常 方便 地 处 理 HDFS 和 HBase 的 数据 ， 和 Hive 一 样 ，Pig 可 以 非常 高 效 地 处 理 数据 ， 通 过 直接 操作 Pig 查 询 可 以 大 
大 提高 工作 效率 。 例 如 ， 想 在 数据 上 做 一 些 转 换 ， 并 且 不 想 编写 MapReduce jobs 时 就 可 以 用 Pig。 


Hive 不 想 用 程序 语言 开发 MapReduce 的 朋友 比如 DB 们 ， 熟 悉 SQL 的 人 ， 可 以 使 用 Hive 在 离线 状态 下 进行 数据 处 理 与 分 析 
工作 。 注 意 ，Hive 只 适合 在 离线 下 进行 数据 的 操作 ， 就 是 说 不 适合 挂 在 真实 的 生产 环境 中 进行 实时 的 在 线 查询 或 操作 ， 因 为 一 
个 字 一 一 慢 。Hive 在 Hadoop 中 扮演 数据 仓库 的 角色 。Hive 建 立 在 Hadoop 集 群 的 最 顶层 ， 对 存储 在 Hadoop 群 上 的 数据 提供 类 
SQL 的 接口 进行 操作 。 可 以 用 HiveQL 进 行 select、join 等 操作 。 


如 果 你 有 数据 仓库 的 需求 并 且 擅 长 写 SQL 而 不 想 写 MapReduce jobs， 那 么 就 可 以 用 Hive 代 蔡 。 


HBase 作 为 面向 列 的 数据 库 运 行 在 HDFS 之 上 ，HDFS 不 能 满足 随机 读 写 操作 ， 而 HBase 正 是 为 此 而 出 现 的 。HBase 以 
Google BigTable 为 蓝本 ， 以 键 值 对 的 形式 存储 ， 其 目标 就 是 快速 在 主机 内 数 十 亿 行 数据 中 定位 所 需 的 数据 并 访问 它 。 


HBase 是 一 个 NoSQL 的 数据 库 ， 像 其 他 数据 库 一 样 提供 随机 读 写 功能 ,虽然 Hadoop 不 能 满足 实时 需要 ,但 HBase 可 以 满 
足 。 如 果 需 要 实时 访问 一 些 数据 ， 那 就 把 它 存 入 HBase。 


可 以 用 Hadoop 作 为 静态 数据 仓库 ，HBase 作 为 数据 存储 ， 放 那些 处 理 过 的 数据 。 


Sqoop 是 一 款 开 源 的 工具 ， 主 要 用 于 在 Hadoop (Hive) 与 传统 的 数据 库 (MySQL、 
PostgreSQLhttp://www.hzcourse.com/resource/readBook? 
path=/openresources/teach ebook/uncompressed/17445/OEBPS/Text/.….) 间 进 行 数据 的 传递 ， 可 以 将 一 个 关系 型 数据 库 
(如 MySQL、Oracle、Postgres 等 ) 中 的 数据 导 进 Hadoop 的 HDFS 中 ， 也 可 以 将 HDFS 的 数据 导入 关系 型 数据 库 中 。 


Hadoop 实 际 上 就 是 Google “技术 三 宝 ” 的 开源 实现 : Hadoop MapReduce 对 应 Google MapReduce，HBase 对 应 
BigTable，HDFS 对 应 GFS。HDFS (或 GFS) 为 上 层 提 供 高 效 的 非 结 构 化 存储 服务 ，HBase (或 BigTable) 是 提供 结构 化 数据 
服务 的 分 布 式 数据 库 ，Hadoop MapReduce (或 Google MapReduce) 是 一 种 并 行 计算 的 编程 模型 ， 用 于 作业 调度 。 


GFS 和 BigTable 已 经 为 我 们 提供 了 高 性 能 、 高 并 发 的 服务 ， 但 是 并 行 编程 不 是 所 有 程序 员 都 “ 玩 得 转 ” 的 活 ， 如 果 我 们 的 应 
用 本 身 不 能 并 发 ， 那 么 GFS、BigTable 也 是 没有 意义 的 。MapReduce 的 强大 之 处 就 在 于 让 不 熟悉 并 行 编程 的 程序 员 也 能 充分 发 
挥 分 布 式 系统 的 威力 。 


概括 地 说 ，MapReduce 是 将 一 个 大 作业 拆 分 为 多 个 小 作业 的 框架 (大 作业 和 人 小 作业 应 该 本 质 是 一 样 的 ， 只 是 规模 不 同 ) ， 
用 户 需要 做 的 就 是 决定 拆 成 多 少 份 ， 以 及 定义 作业 本 身 。 


6.10.1 MapReduce 详 解 


下 面 用 一 个 贯穿 全 文 的 例子 (统计 词 频 ) 来 解释 MapReduce 是 如 何 工作 的 。 


如 果 想 统计 过 去 10 年 里 计算 机 论文 中 出 现 次 数 最 多 的 几 个 单词 ， 看 看 大 家 都 在 研究 些 什么 ， 那 么 收集 好 论文 后 ， 该 怎么 办 
呢 ? 


方法 1: 可 以 写 一 个 小 程序 ， 把 所 有 论文 按 顺 序 遍历 一 遍 ， 统 计 每 个 遇 到 的 单词 出 现 的 次 数 ， 最 后 就 可 以 知道 哪 几 个 单词 最 
热门 了 。 这 种 方法 在 数据 集 比较 小 时 是 非常 有 效 的 ， 而 且 实现 最 简单 ， 用 来 解决 这 个 问题 很 合适 。 


方法 2: 写 一 个 多 线程 程序 ， 并 发 遍历 论文 。 这 个 问题 理论 上 是 可 以 高 度 并 发 的 ， 因 为 统计 一 个 文件 时 不 会 影响 统计 另 一 个 
文件 。 当 我 们 的 计算 机 是 多 核 或 者 多 处 理 器 时 ， 方 法 2 肯定 比方 法 1 高 效 。 但 是 写 一 个 多 线程 程序 要 比方 法 1 困难 多 了 ， 必 须 自己 
同步 共享 数据 ， 如 要 防止 两 个 线程 重复 统计 文件 。 


方法 3: 把 作业 交 给 多 个 计算 机 去 完成 。 我 们 可 以 使 用 方法 1 的 程序 ， 然 后 部 署 到 N 台 计算 机 上 ， 然 后 把 论文 集 分 成 N 份 ,一 
台 计 算 机 运行 一 个 作业 。 该 方法 使 程序 运行 起 来 足够 快 ， 但 是 部 署 起 来 很 麻烦 ， 需 要 人 工 把 程序 复制 到 其 他 的 计算 机 上 ， 需 要 人 
工 把 论文 集 分 开 ， 并 且 还 需要 把 N 个 运行 结果 进行 整合 (当然 也 可 以 再 写 一 个 程序 来 做 这 些 工 作 ) 。 


方法 4: 使 用 MapReduce。MapReduce 本 质 上 就 是 方法 3， 但 是 如 何 拆 分 文件 集 、 如 何 复制 程序 、 如 何 整合 结果 这 些 都 是 
框架 定义 好 的 。 我 们 只 要 定义 好 这 个 任务 (用户 程序 ) ， 其 他 都 交 给 MapReduce 即 可 。 


在 介绍 MapReduce 如 何 工作 之 前 ， 先 来 讲 讲 两 个 核心 浮 数 map、reduce 及 MapReduce 的 伪 代 码 。 
map 冰 数 和 reduce 了 水 数 是 交 给 用 户 实现 的 ， 这 两 个 遂 数 定义 了 任务 本 身 。 


.map 函数 : 接受 一 个 键 值 对 (Key-Value Paif) ， 产 生 一 组 中 间 键 值 对 。MapbReduce 框 架 会 将 map 函 数 产 生 的 中 间 键 值 对 里 键 
相同 的 值 传递 给 一 个 teduce 函 数 。 


` reduce 函 数 : 接受 一 个 键 ， 以 及 相关 的 一 组 值 ， 将 这 组 值 进行 合并 产生 一 组 规模 更 小 的 值 〈 通 常 只 有 一 个 或 0 个 值 ) 。 


统计 词 频 的 MapReduce 函 数 的 核心 代码 非常 简短 ， 主 要 就 是 实现 这 两 个 图 数 。 


map (String key String Value) : 
// key: document name 
// value: document contents 
for each word w in value: 
EmitIntermediate (w, "1"); 


reduce (String key, Iterator Values) : 
// key: a word 
// values: a list of counts 
int result = 0; 
for each v in values: 
result += ParseInt (Vv); 
Emit (AsString (result)); 


在 统计 词 频 的 例子 里 ，map 函 数 接受 的 键 是 文件 名 ， 值 是 文件 的 内 容 ，map 和 逐个 遍历 单词 ， 如 每 遇 到 一 个 单词 w， 就 产生 
一 个 中 间 键 值 对 <w， "1"> ， 表 示 又 找到 了 一 个 单词 w; MapReduce 将 键 相同 (都 是 单词 w) 的 键 值 对 传 给 reduce 函 数 ， 这 样 
reduce 函 数 接受 的 键 就 是 单词 w， 值 是 一 串 "1” (最 基本 的 实现 是 这 样 ， 但 可 以 优化 ) ， 个 数 等 于 键 为 w 的 键 值 对 的 个 数 ， 然 后 
将 这 些 "1" 票 加 就 得 到 了 单词 w 出 现 的 次 数 。 最 后 这 些 单词 的 出 现 次 数 会 被 写 到 用 户 定义 的 位 置 ， 存 储 在 底层 的 分 布 式 存储 系统 
(GFS 或 HDFS) 中 。 


6.10.2 Map Reduce 工 作 流程 
如 图 6.21 所 示 为 MapReduce 的 工作 流程 图 。 一 切 都 是 从 最 上 方 的 User Program 开 始 的 ，User Program 链 接 了 
MapReduce 库 ， 实 现 了 最 基本 的 map 函 数 和 reduce 函 数 。 图 6.21 中 执行 的 顺序 都 用 数字 标记 了 。 


MapReduce 库 先 把 User Program 的 输入 文件 划分 为 M 份 (M 为 用 户 定 义 ) ， 每 一 份 通常 有 16MB 到 64MB， 如 图 6.21 左 方 
所 示 分 为 了 split0~4; 然后 使 用 fork 将 用 户 进程 复制 到 集群 内 的 其 他 计算 机 上 。 


User Program 的 副本 中 有 一 个 称 为 Master， 其 余 称 为 worker。Master 是 负责 调度 的 ， 为 空闲 worker 分 配 作业 (Map 作 业 
或 者 Reduce 作 业 ) ，worker 的 数量 也 是 可 以 由 用 户 指定 的 。 


(1) 分 叉 函 数 frok() 
(2) 分 配 feduce0 函 数 I 处 理 模块 Worker 


(3)read 读 (ort nm 出 Dfork 调度 模块 Master 
(4)local write 局 部 写 - 、 

(5)femode read 远 程 读 pa 

(6)write 写 到 名 CON、 


-Assign assign 
ne ee 


2 
pe 


输入 文件 MAP 函 数 中 间 文 件 Reduce 函 数 输出 文件 
加 工 过 程 在 本 地 磁盘 加 工 过 程 


图 6-21 MapReduce 工 作 流 程 图 


被 分 配 了 Map 作 业 的 worker， 开 始 读 取 对 应 分 片 的 输入 数据 ，Map 作 业 数 量 是 由 M 决 定 的 ， 和 split 一 一 对 应 ;Map 作业 从 
输入 数据 中 抽取 出 键 值 对 ， 每 一 个 键 值 对 都 作为 参数 传递 给 map 函 数 ，map 函 数 产生 的 中 间 键 值 对 被 缓存 在 内 存 中 。 


缓存 的 中 间 键 值 对 会 被 定期 写 入 本 地 磁盘 ， 而 且 被 分 为 R 个 区 ，R 的 大 小 也 是 由 用 户 定义 的 ， 将 来 每 个 区 会 对 应 一 个 Reduce 
作业 ; 这 些 中 间 键 值 对 的 位 置 会 被 通报 给 Master，Master 负 责 将 信息 转发 给 Reduce worker。 


Master 通 知 分 配 了 Reduce 作 业 的 worker 它 负责 的 分 区 在 什么 位 置 (肯定 不 止 一 个 地 方 ， 每 个 Map 作 业 产 生 的 中 间 键 值 对 
都 可 能 映射 到 所 有 R 个 不 同 分 区 ) ， 当 Reduce worker 把 所 有 它 负责 的 中 间 键 值 对 都 读 完 后 ， 先 对 它们 进行 排序 ， 使 得 相同 键 的 
键 值 对 聚集 在 一 起 。 因 为 不 同 的 键 可 能 会 映射 到 同一 个 分 区 也 即 同 一 个 Reduce 作 业 ( 谁 让 分 区 少 呢 ) ， 所 以 排序 是 必须 的 。 


Reduce worker 遍 历 排序 后 的 中 间 键 值 对 ， 对 于 每 个 唯一 的 键 ， 都 将 键 与 关联 的 值 传递 给 reduce 函 数 ，reduce 函 数 产 生 的 
输出 会 添加 到 这 个 分 区 的 输出 文件 中 。 


当 所 有 的 Map 和 Reduce 作 业 都 完成 后 ，Master 唤 醒 正 版 的 User Program，Map Reduce 函 数 调用 返回 User Program 的 
代码 。 


所 有 作业 执行 完毕 后 ，MapReduce 输 出 放 在 了 R 个 分 区 的 输出 文件 中 (分别 对 应 一 个 Reduce 作 业 ) 。 用 户 通常 并 不 需要 合 
并 这 R 个 文件 ， 而 是 将 其 作为 输入 交 给 另 一 个 MapReduce 程 序 来 处 理 。 整 个 过 程 中 ， 输 入 数据 是 来 自 底层 分 布 式 文件 系统 
(GFS) 的 ， 中 间 数 据 是 放 在 本 地 文件 系统 的 ， 最 终 输 出 数据 是 写 入 底层 分 布 式 文件 系统 (GFS) 的 。 要 注意 MapReduce 作 业 
和 mapy/reduce 函 数 的 区 别 : Map 作 业 处 理 一 个 输入 数据 的 分 片 ， 可 能 需要 调用 多 次 map 消 数 来 处 理 每 个 输入 键 值 对 ; Reduce 
作业 处 理 一 个 分 区 的 中 间 键 值 对 ， 期 间 要 对 每 个 不 同 的 键 调用 一 次 reduce 国 数 ，Reduce 作 业 最 终 也 对 应 一 个 输出 文件 。 


笔者 个 人 更 喜欢 把 流程 分 为 3 个 阶段 。 第 1 阶段 是 准备 阶段 ， 包 括 1、2， 主 角 是 MapReduce 库 ， 完 成 拆 分 作业 和 复制 用 户 程 
序 等 任务 ; 第 2 阶段 是 运行 阶段 ， 包 括 3、4、5、6， 主 角 是 用 户 定义 的 map 和 reduce 函 数 ， 每 个 小 作业 都 独立 运行 着 ; 第 3 阶段 
是 扫尾 阶段 ， 这 时 作业 已 经 完成 ， 作 业 结 果 被 放 在 输出 文件 里 ， 取 决 于 用 户 怎 么 处 理 这 些 输 出 。 


1. 词 频 是 怎么 统计 出 来 的 
假设 定义 M=5，R=3， 并 且 有 6 人 台 计算 机 ,一 台 Master。 


图 6.22 描 述 了 MapReduce 如 何 处 理 词 频 统 计 。 由 于 Map Worker 数 量 不 够 ， 首 先 处 理 了 分 片 1、3、4， 并 产生 中 间 键 值 
对 ; 当 所 有 中 间 值 都 准备 好 后 ，Reduce 作 业 就 开始 读 取 对 应 分 区 ， 并 输出 统计 结果 。 


2. 用 户 的 权利 
用 户 最 主要 的 任务 是 实现 Map 和 Reduce 接 口 ， 但 还 有 一 些 有 用 的 接口 是 向 用 户 开放 的 。 


.an input teadet: 该 函数 会 将 输入 分 为 M 个 部 分 ， 并 且 定 义 了 如 何 从 数据 中 抽取 最 初 的 键 值 对 ， 比 如 词 频 的 例子 中 定义 文件 
名 和 文件 内 容 是 键 值 对 。 


7 1 本 
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中 间 键 值 对 


图 6-22” 词 频 统 计 流程 
a pattition fanction: 该 函数 用 于 将 map 函 数 产 生 的 中 间 键 值 对 映射 到 一 个 分 区 里 ， 最 简单 的 实现 就 是 将 键 求 哈 希 再 对 R 取 
模 。 
acompare function: 该 函数 用 于 Reduce 作 业 排序 ， 其 定义 了 键 的 大 小 关系 。 
.an output writer: 负责 将 结果 写 入 底层 分 布 式 文件 系统 。 


: a combiner function: 实际 就 是 teduce 函 数 ， 用 于 前 面 提 到 的 优化 。 例 如 统计 词 频 时 ， 如 果 每 个 <w，"1"> 要 读 一 次 ， 因 为 
teduce 和 mapb 通 常 不 在 一 台 计 算 机 上 ， 非 常 浪费 时 间 ， 所 以 可 以 在 map 执 行 的 地 方 先 运行 一 次 combinet 函 数 ， 这 样 tfeduce 函 数 只 需 


要 读 一 次 <w，"n"> 了 。 


6.10.3 ”适用 范围 
MapReduce 的 一 个 经 典 实例 是 Hadoop， 用 于 处 理 大 型 分 布 式 数据 库 。 由 于 Hadoop 关 联 到 云 及 云 部 署 ， 大 多 数 人 忽略 了 
一 点 ，Hadoop 有 些 属性 不 适合 一 般 企业 的 需求 ， 特 别 是 移动 应 用 程序 。 下 面 是 Hadoop 的 一 些 特点 : 


* Hadoop 的 最 大 价值 在 于 数据 库 ， 而 Hadoop 所 用 的 数据 库 是 移动 应 用 程序 所 用 数据 库 的 10~1000 倍 。 对 于 许多 人 来 说 ， 使 用 


Hadoop 相 当 于 “ 杀 鸡 用 牛刀 ”。 
. Hadoop 在 支持 具有 多 维 上 下 文 数据 结构 方面 不 是 很 擅长 。 


尤其 是 几 个 连续 有 依赖 性 步骤 的 问题 。 


. Hadoop 使 用 迭代 方法 处 理 问题 用 处 不 大 


MapReduce (EMR) ， 这 是 一 项 Hadoop 服 务 。 


6.11 本 章 小 结 


本 章 介绍 了 大 数据 处 理 的 哈 希 算法 、 位 图 映射 ， 用 于 数据 检索 的 数据 库 索引 、 倒 排序 、 外 排序 方法 ， 以 及 数据 结构 的 分 布 式 
处 理 、 双 桶 划分 方法 ， 并 介绍 了 数据 结构 堆 、 树 的 概念 ， 讲 解 了 数据 信息 过 滤 的 布 隆 过 滤器 等 几 种 常见 算法 ， 是 大 数据 从 业 人 员 
的 必 备 基础 知识 。 


6.12 习题 


1. 布 隆 过 滤器 的 误 判 率 如 何 计算 ? 


2. 有 一 台 计 算 机 ， 并 且 给 你 这 人 台 计 算 机 的 工作 表 ， 工 作 表 上 有 mn 个 任务 ， 计 算 机 在 ti 时 间 执 行 第 i 个 任务 ，1 秒 即 可 完成 一 个 任 
务 。 有 m 个 询问 ， 每 个 询问 有 一 个 数字 q， 表 示 如 果 在 q 时 间 有 一 个 工作 表 之 外 的 任务 请 求 ， 请 计算 这 个 任务 何 时 才能 被 执行 。 
计算 机 总 是 按照 工作 表 执 行 ， 当 计算 机 空闲 时 立即 执行 工作 表 之 外 的 任务 请 求 。 (Hashing 算 法 ) 


3.“ 臭 味 相投 ”一 这 是 人 们 描述 交 朋 友 时 喜欢 用 的 词汇 。 两 个 人 是 朋友 通常 意味 着 他 们 存在 着 许多 共同 的 兴趣 。 然 而 作为 
一 个 宅男 ， 你 发 现 自己 与 他 人 相互 了 解 的 机 会 并 不 多 。 幸 运 的 是 ， 你 意外 得 到 了 一 份 北 大 图 书馆 的 图 书 借阅 记录 ， 于 是 你 挑灯 熬 
夜 地 编程 ， 想 从 中 发 现 潜在 的 朋友 。 首 先 你 对 借阅 记录 进行 了 一 番 整 理 ， 把 N 个 读者 依次 编号 为 1，2，.…，N， 把 M 本 书 依次 编 
号 为 1，2，…，M。 同 时 ， 按 照 “ 臭 味 相投 ”的 原则 ， 和 你 喜欢 读 同 一 本 书 的 人 就 是 你 的 潜在 朋友 。 现 在 的 任务 是 从 这 份 借 阅 记 
录 中 计算 出 每 个 人 有 几 个 潜在 朋友 。 (Hashing 算 法 ) 


4. 有 一 组 数字 ， 从 1 到 n (该 例 中 假设 n=10) ， 乱 序 且 不 存在 重复 的 数字 。 例 如 ,，[8, 9, 2, 3, 6, 1, 4, 5, 7, 10]。 从 
中 任意 删除 了 3 个 数 ， 顺 序 也 被 再 次 打 乱 ， 将 这 些 剩 余数 字 放 在 一 个 n-3 的 数组 里 ， 请 找 出 丢失 的 数字 ， 要 求 算法 比较 快 。 
(BitMap 算 法 ) 


第 7 章 物 联 网 安全 


物 联网 安全 包括 信息 感知 安全 、 信 息 存 储 安全 、 信 息 传输 安全 、 应 用 层 信息 安全 、 云 计算 安全 及 物 联网 信息 安全 管理 等 环 


二 
T。 


7.1 信息 安全 基础 


伴随 着 信息 时 代 的 快速 发 展 ， 信 息 安全 越 来 越 受到 广泛 的 关注 和 重视 。 如 何 理解 信息 安全 呢 ? 可 以 把 “信息 安全 ” 拆 分 


成 “信息 ”和 “安全 ”来 理解 。 对 于 “信息 ”可 以 理解 为 数据 ， 我 们 应 该 关注 的 是 它 的 真实 性 、 完 整 性 、 保 密 性 和 可 用 性 ; “ 安 
全 ”是 为 了 保证 信息 的 真实 、 完 整 、 机 密 和 可 用 ， 避 免 信 息 被 破坏 、 算 改 和 泄露 。 


信息 安全 应 该 是 以 保证 数据 的 真实 性 、 保 密 性 、 完 整 性 和 可 用 性 为 目的 ， 采 用 适当 的 安全 技术 (如 加 密 、 认 证 等 ) ， 使 信息 
在 产生 、 传 输 和 使 用 的 各 个 阶段 受到 保护 ， 不 因 偶然 、 恶 意 的 原因 而 遭 到 破坏 、 更 改 和 泄露 。 当 前 信息 安全 是 一 门 涉及 计算 机 科 
学 、 网 络 技术 、 通 信 技 术 、 密 码 技术 、 信 息 安全 技术 、 应 用 数学 、 数 论 和 信息 论 等 多 种 学 科 的 综合 性 学 科 。 


1 数据 的 真实 性 


随 着 网 络 的 友 展 ， 通 过 网 络 进 行 信 息 的 交流 已 经 成 为 人 们 重要 的 生活 内 容 。 人 们 一 方面 从 网 络 中 获得 信息 ， 另 一 方面 也 向 网 
络 发 送 着 信息 ; 一 方面 回应 着 他 人 的 信息 ， 另 一 方面 也 关注 着 他 人 对 自己 的 信息 反馈 。 网 络 信息 交流 范围 越 来 越 广 ， 透 明度 越 来 
或 高 ， 速 度 越 来 越 快 ， 形 式 越 来 越 丰富 ， 目 的 越 来 越 明确 的 同时 ， 网 络 信息 的 真实 性 越 来 越 受 到 重视 。 


随 着 大 数据 时 代 的 到 来 ， 除 了 人 与 人 之 间 交 流 的 信息 ， 人 们 日 常生 活 中 的 行为 、 对 电子 设备 的 大 量 使 用 及 对 物 联网 的 广泛 应 
用 ， 也 会 产生 大 量 的 数据 。 如 何 保证 这 些 数据 在 产生 、 传 输 和 应 用 过 程 中 真实 而 不 被 算 改 ,已 经 成 为 了 当下 信息 安全 领域 的 一 个 
挑战 。 

2 数据 的 完整 性 

数据 的 完整 性 是 指数 据 在 输入 和 传输 的 过 程 中 ， 不 被 非法 授权 修改 和 破坏 ， 保 证 数据 的 一 致 性 。 

对 于 数据 完整 性 (Data Integrity) ， 维 基 百 科 给 出 的 解释 是 “在 传输 、 存 储 信息 或 数据 的 过 程 中 ， 确 保 信息 或 数据 不 被 未 
受权 的 纂 改 或 在 纂 改 后 能 够 被 迅速 发 现 。 在 信息 安全 领域 ， 数 据 的 完整 性 常常 和 保密 性 边界 混淆 。 以 普通 RS9A 对 数值 信息 加 密 为 
例 ， 黑 客 或 恶意 用 户 在 没有 获得 密 钥 破 解密 文 的 情况 下 ， 可 以 通过 对 密 文 进行 线性 运算 ， 相 应 改变 数值 信息 的 值 。 例 如 ， 交 易 金 


额 为 x 元 ， 通 过 对 密 文 乘 以 2， 可 以 使 交易 金额 成 为 2x， 也 称 为 可 延展 性 (Malleably) 。 为 解决 以 上 问题 ， 通 常 使 用 数字 签名 或 
散 列 函数 对 密 文 进行 保护 。” 


完整 性 是 指 ， 保 证 信息 的 完整 。 虽 然 别 人 或 许 看 不 懂 这 些 信息 ， 但 是 可 以 破坏 这 些 信息 ， 如 删除 一 部 分 信息 ， 这 样 合法 的 接 
收 方 就 无 法 得 到 正确 的 信息 。 而 完整 性 机 制 保证 了 信息 的 完整 性 不 被 破坏 ， 可 以 安全 地 让 接收 方 获得 全 部 数据 。 


保证 信息 的 完整 性 需要 防止 数据 的 丢失 、 重 复 及 保证 传送 秩序 的 一 致 。 保 证 各 种 数据 的 完整 性 是 电子 商务 应 用 的 基础 。 数 据 
的 完整 性 被 破坏 可 能 导致 贸易 双方 信息 的 差异 ， 将 影响 贸易 双方 交易 的 顺利 完成 ， 甚 至 造成 纠纷 。 


3 .数据 的 可 用 性 
大 家 普遍 认为 ， 同 时 满足 数据 的 一 致 性 、 准 确 性 、 完 整 性 、 时 效 性 及 实体 同一 性 即 认 为 数据 是 可 用 的 。 


数据 的 一 致 性 : 指 各 相关 数据 信息 之 间 相 容 ， 不 产生 了 矛盾。 数据 集合 中 每 个 信息 都 不 包含 语义 错误 或 相互 矛盾 的 数据 。 例 
如 ， 数 据 〈 公 司 =" 先 导 "， 国 码 ="86"， 区 号 ="10"， 城 市 =" 上 海 ") 含有 一 致 性 错误 ， 因 为 10 是 北京 区 号 而 非 上 海区 号 。 又 如 ， 若 
银行 信用 卡 数 据 库 显示 菜 持 卡 人 在 北京 和 新 疆 两 地 同时 使 用 同一 张 信 用 卡 消费 ， 则 会 出 现 数据 不 一 致 ， 预 示 发 生 信用 卡其 诈 的 可 
能 。 

" 数据 的 准确 性 : 表示 现实 物体 的 精准 程度 。 数 据 集合 中 每 个 数据 都 能 准确 表述 现实 世界 中 的 实体 。 例 如 ， 某 城市 人 口 数量 


4130465 人 ， 数 据 库 中 记载 为 4100 万 人 ， 宏 观 来 看 该 信息 是 合理 的 ， 但 不 精确 。 一 致 的 信息 也 可 能 含有 误差 ， 未 必 精 确 。 在 许多 应 
用 领域 ,信息 精确 性 至 关 重 要 。 


“ 数据 的 完整 性 : 完全 满足 对 数据 进行 各 项 操作 的 要 求 。 数 据 集 合 中 包含 足够 的 数据 来 回答 各 种 查询 和 支持 各 种 计算 。 例 
如 ， 某 医疗 数据 库 中 的 数据 一 致 且 精 确 ， 但 遗失 了 某 些 患 者 的 既往 病史 ， 从 而 存在 不 完整 性 ， 可 能 导致 不 正确 的 诊断 其 至 严重 医 


疗 事故 。 


" 数据 的 时 效 性 : 是 指 在 不 同 需 求 场景 下 数据 的 及 时 性 和 有 效 性 。 对 应 用 系统 而 言 ， 往 往 对 数据 时 效 性 要 求 较 高 ， 过 时 的 数 
据 即 使 分 析出 来 了 也 不 会 对 实际 应 用 产生 有 价值 的 影响 。 信 息 集合 中 每 条 信息 都 与 时 俱 进 ， 不 陈旧 过 时 。 例 如 ， 某 数据 库 中 的 用 
户 地 址 在 2010 年 是 正确 的 ， 但 在 2011 年 未 必 正 确 ， 即 数据 过 时 。 据 统计 ， 商 业 和 医疗 信息 库 中 平均 50% 的 用 户 信息 在 2 年 内 可 能 
过 时 ， 而 过 时 信息 有 时 会 导致 严重 后 果 。 


` 实体 的 同一 性 : 指 同 一 实体 在 各 种 数据 源 中 的 描述 统一 。 例如， 为 防止 信用 卡其 诈 ， 银 行 需 监测 信用 卡 的 使 用 者 和 持 有 者 
是 否 为 同一 人 。 又 如 ， 企 业 的 市 场 、 销 售 和 服务 部 门 可 能 维护 各 自 的 数据 库 ， 如 果 这 些 数 据 库 之 间 没 有 共享 统一 的 客户 标识 ， 企 
业 的 兼并 和 重组 会 使 兼并 后 的 公司 的 客户 数据 库 中 存在 大 量具 有 差异 的 重复 客户 信息 ， 从 而 导致 实体 表达 混乱 。 


7.2 物 联网 信息 安全 体系 


在 介绍 物 联网 信息 安全 体系 之 前 ， 再 来 重新 认识 下 当下 被 普遍 认可 的 物 联网 基本 架构 。 物 联网 架构 一 般 认 为 是 由 感知 层 、 网 
络 传输 层 和 应 用 层 组 成 。 感 知 层 主 要 是 一 些 传感器 节点 、 终 端 控制 器 节点 和 感知 层 网 关节 点 、RFID 标 签 、RFID 读 写 设备 ， 以 及 
一 些 短 距离 无 线 网 络 等 ; 网 络 传输 层 主 要 以 广域网 通信 为 主 ; 应 用 层 一 般 认 为 以 云 计算 服务 为 基础 ， 包 括 云 平台 的 各 项 服务 和 用 
户 终端 等 。 物 联网 架构 如 图 7.1 所 示 。 
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图 7-1 ” 物 联 网 架构 图 


7.2.1 物 联 网 的 安全 需求 及 体系 结构 


物 联网 技术 的 出 现 ， 使 人 们 的 生活 更 加 方便 、 快 捷 的 同时 ， 也 不 可 避免 地 带 来 了 一 些 安全 问题 。 物 联网 中 的 很 多 应 用 都 与 人 
们 的 生活 息息相关 ， 如 摄像 头 、 智 能 恒温 器 等 设备 ， 通 过 对 它们 的 信息 的 采集 ， 可 直接 或 间接 地 暴露 用 户 的 隐私 信息 。 由 于 生产 
商 缺 乏 安全 意识 ， 很 多 设备 缺乏 加 密 、 认 证 、 访 问 控制 管理 的 安全 措施 ， 使 得 物 联 网 中 的 数据 很 容易 被 窃取 或 非法 访问 ， 造 成 数 
据 泄露 。 物 联网 这 种 新 型 的 信息 网 络 往往 会 遭受 有 组 织 的 APT 攻 击 。 由 此 可 见 ， 物 联网 安全 问题 需要 引起 人 们 的 高 度 重视 。 

物 联网 涵盖 范围 广泛 ， 本 书 主要 关注 于 物 联网 安全 中 较为 通用 的 安全 需求 ， 让 读者 对 物 联网 安全 需求 和 研究 方向 有 更 加 深刻 
的 了 解 。 通 过 图 7.2 可 以 发 现 ， 物 联网 的 不 同 层次 可 能 会 面临 相同 的 安全 需求 。 基 于 物 联网 的 架构 ， 对 于 不 同 层次 的 安全 需求 应 
用 不 同 的 安全 技术 构建 出 一 个 安全 的 物 联网 安全 体系 ， 如 图 7.3 所 示 。 
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图 7-3” 物 联网 安全 体系 架构 


感知 层 安 全 要 保护 的 是 数据 在 感知 节点 内 部 的 处 理 安全 (是 否 有 恶意 代码 ) 和 数据 通信 安全 ， 包 括 传感器 节点 与 汇聚 节点 之 
间 的 通信 安全 ， 以 及 RFID 标 签 与 RFID 读 写 器 之 间 的 通信 安全 。 


网 络 传输 层 安 全 主要 是 广域网 通信 过 程 的 数据 安全 ， 包 括 通信 节点 之 间 的 身份 鉴别 、 数 据 机 密 性 和 数据 完整 性 服务 。 对 于 物 
联网 的 网 络 传输 层 ， 还 需要 提供 数据 新 鲜 性 保护 ， 这 是 不 同 于 传统 通信 网 络 的 安全 服务 ， 重 点 用 于 对 控制 指令 的 保护 。 


应 用 层 安 全 主要 包括 处 理 服 务 。 例 如 ， 在 云 计 算 平台 内 的 安全 服务 ， 包 括 系统 安全 、 应 用 软件 安全 、 数 据 存 储 安全 和 大 数据 
处 理 安全 等 ， 通 过 对 终端 用 户 的 身份 鉴别 、 访 问 控制 和 密 钥 管理 等 一 些 列 技术 措施 ， 实 现 云 计算 平台 的 数据 在 用 户 使 用 过 程 中 应 
符合 技术 要 求 和 管理 策略 。 


7.2.2 ” 物 联 网 感知 层 安 全 


物 联网 的 感知 层 可 以 包括 各 种 传感器 ， 如 大 到 视频 监控 、 小 到 温 湿度 传感器 等 类 型 的 传感器 ， 其 处 理 能 力也 干 差 万 别 。 物 联 
网 感知 层 还 包括 RFID 标 签 和 读 卡 器 ， 因 此 物 联网 感知 层 将 包括 处 理 能 力 及 其 受 限 的 RFID 标 签 。 


在 一 个 物 联网 系统 中 ， 我 们 需要 明确 感知 层 的 边界 ， 即 哪些 属于 感知 层 。 如 果 物 联网 的 感知 层 是 一 个 传 感 网 ， 则 传 感 网 中 的 
感知 节点 、 路 由 节点 、 汇 聚 节点 及 传 感 网 所 使 用 的 网 络 (通常 为 短 距离 射频 ) 都 属于 物 联网 的 感知 层 。 注 意 汇聚 节点 不 是 作为 整 
个 设备 属于 感知 层 ， 而 仅仅 是 其 汇聚 功能 属于 感知 层 。 因 为 在 物 联网 系统 中 ， 作 为 感知 层 部 分 的 汇聚 节点 除了 完成 与 感知 节点 的 
通信 外 ， 还 要 负责 将 汇聚 后 的 信息 传送 给 上 层 处 理 中 心 ， 而 其 与 上 层 通 信 的 功能 显然 不 再 属于 感知 层 。 由 于 在 物 联网 中 ， 感 知 层 
的 汇聚 节点 不 仅 具 有 汇聚 的 功能 ， 还 需要 负责 将 所 担负 的 传 感 节点 的 信息 传递 给 处 理 中 心 ， 因 此 一 般 将 感知 层 的 汇聚 节点 称 为 感 
知 层 网 关节 点 。 所 以 ， 物 联网 系统 感知 层 的 边界 从 传 感 网 的 网 关节 点 到 传感器 节点 部 分 ， 都 属于 物 联网 的 感知 层 。 


在 一 个 以 RFID 为 主 的 物 联网 应 用 系统 中 ， 感 知 层 将 包括 RFID 标 签 和 和 RFID 读 写 器 的 通信 功能 。 从 RFID 阅 读 器 到 后 台数 据 库 的 


感知 层 的 安全 技术 包括 如 下 内 容 : 


* 设备 安全 ， 即 传感器 节点 本 身 的 安全 ， 主 要 指 传感器 节点 有 足够 的 供电 和 正常 的 工作 能 力 。 更 多 的 安全 要 求 可 能 对 传感器 
网 络 中 的 汇聚 节点 有 意义 。 


* 计算 安全 ， 即 传感器 在 处 理 数 据 时 ， 处 理 器 的 执行 环境 安全 性 ， 包 括 操作 系统 (如 COS、Android、Linux、Windows 等 ) 
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数据 安全 ， 主 要 指 重 要 数据 的 安全 存储 和 调用 接口 ， 如 密 钥 信 息 ， 通 过 外 部 接口 直接 读 取 这 些 数据 应 该 受 限 。 


. 通信 安全 ， 即 数据 发 送 和 接收 时 对 数据 的 处 理 ， 包 括 对 数据 的 加 密 和 解密 能 力 、 完 整 性 校 验 和 验证 能 力 、 对 通信 方 的 身份 
力 


7.2.3 物 联网 网 络 传输 层 安 全 


物 联网 的 网 络 传输 层 可 以 包括 各 种 广域网 。 典 型 的 广域网 是 互联 网 ， 之 后 又 有 多 种 可 以 最 终 接 入 互联 网 的 多 种 无 线 网 络 ， 包 
括 移 动 网 络 (2G、3G、LTE、5G 等 ) 和 近年 来 发 展 迅 速 的 低 功 耗 广域网 (Low Power Wide Area Network，LPEAN) ， 这 些 
网 络 在 物 联 网 系统 中 都 属于 网 络 传输 层 。LPWAN 网 络 是 专门 为 物 联网 业务 而 设计 的 ， 具 有 低 功 耗 的 特点 ， 这 对 资源 受 限 的 物 联 
网 感知 层 节点 是 很 重要 的 。 


物 联网 网 络 传输 层 安 全 的 主要 保护 目标 是 网 络 本 身 和 在 网 络 上 传输 的 数据 。 对 网 络 本 身 的 主要 防护 技术 是 抗 DDoS 攻击 ， 以 
保障 网 络 的 服务 能 力 ; 对 数据 的 保护 技术 包括 数据 机 密 性 技术 、 数 据 完 整 性 技术 和 数据 来 源 认 证 技术 等 。 


7.2.4 物 联 网 应 用 层 安 全 
如 果 将 物 联网 的 处 理应 用 层 分 处 理子 层 和 应 用 子 层 考虑 的 话 ， 那 么 物 联网 的 处 理子 层 主 要 指 云 计算 平台 ， 其 安全 技术 包括 : 
云 平台 本 身 的 环境 安全 、 云 平台 的 应 用 服务 安全 和 云 平台 的 数据 安全 。 


云 平台 环境 安全 包括 操作 系统 安全 、 虚 拟 隔离 技术 、 用 户 安全 管理 技术 和 访问 控制 技术 等 ， 云 平台 的 应 用 服务 安全 包括 软件 
即 服务 SaaS， 平 台 即 服务 PaaSs， 基 础 设施 即 服务 laaS， 安 全 即 服务 SECaaS 等 ; 云 平 台 的 数据 安全 包括 数据 处 理 安全 和 数据 存 
储 安全 等 。 


物 联网 的 应 用 子 层 对 应 的 是 具体 的 行业 应 用 。 对 一 些 重要 的 业务 数据 ， 如 控制 指令 和 配置 参数 等 ， 不 应 将 安全 服务 依赖 于 通 
舍 服 务 商 和 平台 商 。 为 了 提供 行业 内 可 控 的 全 程 数 据 安 全 ， 需 要 有 合理 的 密 铀 管理 机 制 ， 使 得 在 物 联网 全 流程 内 (贯穿 感知 层 、 
网 络 传输 层 和 处 理应 用 层 ) 具有 安全 保障 。 


在 物 联网 系统 建设 过 程 中 ， 物 联网 安全 保护 机 制 应 同时 建设 ， 是 否 满 足 建设 需求 ， 需 要 在 建设 初期 进行 评估 ， 建 设 过程 中 进 
行 验证 ， 以 及 建设 后 期 进行 测试 。 这 就 是 安全 评估 和 检测 技术 。 


许多 物 联网 的 行业 应 用 需要 用 到 智能 移动 终端 ， 这 些 移动 终端 的 安全 性 也 是 应 用 层 安 全 的 重要 内 容 ， 包 括 移动 终端 的 操作 系 
统 安 全 、 应 用 软件 (App) 安全 、 用 户口 令 安全 等 。 


7.2.5 与 物 联 网 安全 相关 的 法 规 与 政策 
为 了 保障 物 联网 产业 的 健康 发 展 ， 国 内 外 政府 和 相关 产业 联盟 出 台 了 一 系列 相关 标准 和 法 律 法 规 。 其 中 ， 有 些 法 规 是 针对 一 
般 的 网 络 信息 系统 ， 包 括 物 联 网 在 内 ， 有 些 法 规则 是 明确 针对 物 联 网 而 制定 的 。 
1. 国 际 物 联网 安全 法 规 与 政策 
. 2016 年 11 月 15 日 ， 美 国 国土 安全 部 (DHS) 发布 《保障 物 联网 安全 战略 原则 》。 
. 2016 年 12 月 1 上 日， 美国 国家 网 络 空间 安全 促进 委员 会 发 布 题 为 《数字 经 济 的 安全 保护 与 发 展 》 的 报告 。 


: 云 安 全 联盟 于 2016 年 10 月 7 日 发 布 长 达 80 页 的 《 物 联 网 安全 指南 》， 指 出 了 物 联 网 安全 的 必要 性 。 


2016 年 9 月 ， 工 业 互联 网 联盟 发 布 了 一 份 则 在 解决 工业 物 联网 (IIOT) 及 全 球 工业 操作 运行 系统 相关 安全 问题 的 文件 《 工 
业 物 联网 安全 框架 》。 


2. 国 内 物 联 网 安全 法 规 与 政策 


. 2011 年 ， 工 业 和 信息 化 部 发 布 《 物 联网 “十 二 五 ”发 展 规划 》。 


- 2016 年 11 月 7 日 上 午 ， 十 二 届 全 国人 大 常委 会 第 二 十 四 次 会 议 经 表决 ， 通 过 了 《中 华人 民 共 和 国 网 络 安全 法 》。 


3. 行 业 领 域 网 络 安全 规定 


. GSMA 协 会 发 布 的 《GSMA 物 联网 安全 指南 》。 


. 车 载 信 息 安 全 产业 联盟 发 布 的 《车 载 信 息 安 全 技术 要 求 白皮书 》。 


* 消费 者 技术 协会 发 布 的 《 物 联网 安全 》 白皮书 。 


7.3 物 联网 信息 安全 对 策 


由 于 物 联网 无 线 传输 的 特点 ， 其 信号 暴露 在 公共 场所 很 容易 被 干扰 、 窃 取 ， 同 时 物 联网 与 人 类 社会 紧密 关联 ， 一 旦 受到 外 来 
干扰 、 攻 击 ， 有 可 能 导致 网 络 瘫 商 ， 有 可 能 会 造成 经 济 紧张 、 社 会 动荡 等 严重 后 果 。 加 之 物 联网 没有 办 法 彻底 解决 信息 安全 和 隐 
私 保护 等 问题 ， 很 容易 造成 信息 泄露 、 盗 用 或 财产 损失 。 因 此 如 何 保障 物 联网 信息 安全 显得 尤为 重要 。 


7.3.1 隐私 保护 

物 联网 中 的 很 多 应 用 都 与 人 们 的 生活 息息相关 ， 如 摄像 头 、 智 能 恒温 器 等 设备 ， 通 过 对 它们 的 信息 采集 ， 会 直接 或 间接 地 暴 
露 用 户 的 隐私 信息 ， 所 以 隐私 保护 是 物 联网 安全 问题 中 应 当 注 意 的 问题 之 一 。 

基于 数据 的 隐私 威胁 : 物 联网 中 数据 采集 、 传 输 和 处 理 等 过 程 中 的 隐私 信息 泄露 。 


基于 位 置 的 隐私 威胁 : 物 联网 中 各 节点 的 位 置 隐私 ， 以 及 物 联 网 在 提供 各 种 位 置 服务 时 的 位 置 隐私 泄露 问题 。 隐 私 保护 可 以 
采用 如 下 策略 : 


“ 最 小 化 数据 采集 。 
* 匿名 化 数据 采集 和 处 理 。 
“ 由 相关 用 户 决 定 是 否 授权 数据 采集 。 


` 路 由 协议 隐私 保护 法 ,保护 节点 准确 位 置信 息 。 


7.3.2 认证 
物 联网 环境 中 的 部 分 访问 无 认证 或 认证 采用 默认 密码 、 弱 密码 ， 这 样 不 利于 物 联网 信息 安全 。 物 联网 身份 认证 和 使 用 复杂 密 
码 是 十 分 必要 的 。 


:一 方面 开发 人 员 应 考虑 在 设计 时 确保 用 户 在 首次 使 用 系统 时 修改 默认 密码 ， 并 且 尽 可 能 使 用 双 因 素 认 证 。 对 于 敏感 功能 ， 


需要 再 次 进行 认证 等 。 


* 另 一 方面 作为 用 户 ， 应 该 提高 安全 意识 ， 使 用 强 密码 并 定期 修改 密码 。 


7.3.3 ”访问 控制 管理 


物 联网 信息 安全 威胁 来 自 于 : 

. 未 授权 的 访问 。 

. 安全 配置 长 期 不 更 新 、 不 核查 。 

物 联网 访问 控制 管理 十 分 必要 ， 访 问 控制 管理 一 般 采 用 如 下 措施 : 
- 身份 和 访问 管理 、 边 界 安全 (安全 访问 网 关 ) 。 

. 持续 的 脆弱 性 和 错误 配置 检测 清除 。 


网 关 是 很 多 公司 的 天 注 点 。 例 如 Vidder 公 司 的 产品 基于 CSA 定 义 的 软件 定义 边界 ， 只 有 认证 后 才能 对 服务 进行 访问 。CUJO 
公司 的 智能 防火 墙 ， 采 用 了 网 关 + 云 + 手机 App 的 模式 。 通 过 手机 App 可 以 看 到 对 于 内 部 网 络 的 访问 情况 ， 并 进行 访问 控制 。 云 
端 对 网 天 采集 的 流量 数据 进行 分 析 并 提供 预警 。 


未 来 的 智能 家 庭 安 全 将 会 是 一 个 关注 点 。 随 着 家 庭 中 智能 设备 的 增多 ， 设 备 本 身 的 访问 控制 并 不 足以 抵抗 日 益 复杂 的 网 络 攻 
击 。 如 果 设 备 本 身 存 在 漏洞 ， 攻 击 者 将 可 能 绕 过 设备 的 认证 环节 。 可 以 在 网 络 的 入 口 做 统一 的 访问 控制 ， 只 有 认证 的 流量 才能 
访问 内 部 的 智能 设备 。 


7.3.4 数据 保护 
数据 保护 主要 针对 数据 的 泄露 和 篡改 问题 。 例 如 被 自 改 的 医疗 数据 ， 使 医疗 服务 提供 者 有 可 能 错误 地 对 种 者 进行 诊断 和 治 
疗 。 


数据 保护 主要 是 为 了 确保 数据 不 被 算 改 ， 很 多 公司 都 提供 了 DLP 产 品 。 对 于 物 联网 环境 下 的 数据 安全 问题 ， 信 息 安全 公司 一 
般 是 将 已 有 的 DLP 产 品 作 为 解决 方案 的 一 部 分 。 


7.3.5 ”物理 安全 

部 署 在 远 端 的 缺乏 物理 安全 控制 的 物 联 网 资产 ， 有 可 能 被 盗窃 或 破坏 。 物 联网 边缘 设备 有 些 在 露天 场所 ， 有 些 在 公共 场所 ， 
还 有 些 在 边远 偏僻 的 地 方 。 由 于 自然 条 件 变 化 (风雨 、 雷 电 ) ， 以 及 人 为 破坏 ， 使 物 联网 设备 不 能 正常 工作 。 

解决 物理 设备 安全 问题 ， 通 常 采 用 : 

“ 尽 可 能 加 入 已 有 的 物理 安全 防护 措施 ， 防 风雨 、 防 雷电 。 


“并非 技 术 层 面 的 问题 ， 更 应 作为 标准 的 一 部 分 进行 规范 ， 发 布 物 联 网 设备 防盗 、 防 破坏 的 规章 制度 。 


7.3.6 ”设备 保护 和 资产 管理 


物 联网 设备 的 配置 文件 被 修改 、 未 认证 的 代码 被 执行 ， 都 会 带 来 不 可 预知 的 灾难 性 的 后 果 。 物 联网 边缘 设备 的 数量 巨大 ， 使 
得 常规 的 更 新 和 维护 操作 面临 挑战 。 


在 偏远 地 区 ， 供 电 不 稳定 、 断 电 引 发 的 物 联 网 设备 异常 都 会 影响 物 联网 系统 使 用 体验 。 对 物 联网 边缘 设备 的 保护 和 资产 管理 
一 般 采 用 如 下 措施 : 


“ 定期 审查 配置 。 

- 固件 自动 升级 (Ovet-the Ait (OTA) ) 。 

" 定义 对 于 物 联网 设备 的 全 生命 周期 控制 。 

- 对 代码 签名 以 确保 所 有 运行 的 代码 都 是 经 过 认证 的 ， 以 及 在 运行 时 对 代码 的 防护 。 
“ 断 电 保护 。 

" 用 白金 密码 来 应 对 着 向 工程 。 


物 联网 环境 下 有 两 点 尤其 要 注意 ， 一 是 众多 设备 如 何 升级 ， 二 是 对 于 设备 的 逆向 工程 。 对 于 第 一 点 ， 应 定义 对 于 物 联 网 设备 
的 全 生命 周期 控制 ， 并 提供 设备 固件 自动 升级 的 方式 ;对 于 第 二 点 ， 目 前 已 知 的 技术 是 采用 日 盒 密码 。 


7.3.7 ”攻击 检测 和 防御 
在 物 联 网 中 ， 拒 绝 服 务 攻击 主要 分 为 两 种 ， 一 种 是 对 设备 进行 攻击 ， 如 一 直 给 电子 标签 发 送 恶 意 请 求 信息 ， 使 标签 无 法 响应 
合法 请 求 ; 另 一 种 是 控制 很 多 物 联 网 设备 对 其 他 系统 进行 攻击 。 


针对 第 一 种 攻击 ， 物 联网 远 端 设备 需要 罕 入 式 系 统 抵抗 拒绝 服务 攻击 。 针 对 第 二 种 攻击 ,一 方面 加 强 对 节点 的 保护 ， 防 止 节 
点 被 动 持 ， 另 一 方面 也 需要 提供 有 效 地 识别 被 动 持 的 节点 的 方法 。 


ZiLOG 公 司 和 Icon_Labs 联 合 推出 了 使 用 8 位 MCU 的 设备 安全 解决 方案 。 防 火 墙 控制 嵌入 式 系 统 处 理 的 数据 包 ， 锁 定 非法 登 
录 尝 试 、 拒 绝 服务 攻击 (Packet Floods) 、 端 口 扫描 和 其 他 常见 的 网 络 威胁 。 下 面 介绍 两 种 常见 的 网 络 攻击 。 


1. 病 毒 攻击 
病毒 攻击 指 在 计算 机 程序 中 插入 的 破坏 计算 机 功能 或 者 数据 的 代码 。 
物 联网 设备 需要 代码 签名 ， 以 确保 所 有 运行 的 代码 都 是 经 过 授权 和 认证 的 。 


赛 门 铁 克 (Symantec) 公司 的 白皮书 中 指出 ， 设 备 保护 需要 对 代码 签名 ， 以 确保 所 有 运行 的 代码 都 是 经 过 认证 的 ; 天 威 诚 
信 VeriSign 代 码 签名 证 书 、Instant SSL、 微 软 、Digicert 等 都 在 做 代码 签名 相关 的 工作 。 


2.APT 攻 击 


APT (Advanced Persistent Threat) 指 的 是 高 级 持续 性 威胁 。 利 用 先进 的 攻击 手段 有 组 织 地 对 特定 目标 进行 长 期 持续 性 网 
络 攻击 。APT 入 侵 途 径 主要 包括 以 下 几 个 方面 : 


“ 以 智能 手机 、 平 板 电 脑 和 USB 等 移动 设备 为 攻击 对 象 ， 进 而 入 侵 企业 信息 系统 。 


和 恶意 邮件 、 钓鱼 网 站 、 恶意 链接 等 。 


“ 利用 防火 墙 、 服 务 器 等 系统 漏洞 继而 入 侵 企 业 网 络 。 


对 于 ATP 攻 击 ， 可 以 采用 以 下 方法 防御 攻击 : 


` 使 用 威胁 情报 。 


* 及 时 获取 最 新 的 威胁 情报 信息 如 APT 操 作者 的 最 新 信息 ; 不 良 域名 ; 恶意 邮件 地 址 、 附 件 、 主 题 ; 恶意 链接 和 网 站 等 信 


息 ， 及 时 进行 防护 。 


. 建立 防火 墙 和 网 关 ， 进 行 访问 控制 。 定 期 检查 配置 信息 ， 及 时 更 新 升级 。 


` 收集 日 志 并 进行 分 析 和 济源 。 

. 全 网 流量 行为 的 模型 建立 和 分 析 。 

" 对 用 户 的 访问 习惯 进行 监测 。 
在 检测 到 APT 攻 击 的 同时 ， 也 可 以 对 APT 攻 击 进行 监测 和 溯源 分 析 ， 并 将 威胁 情报 共享 。 
3. 密 镀 


蜜 色 是 设置 好 故意 让 人 攻击 的 目标 ， 引 诱 黑客 前 来 攻击 。 所 以 攻击 者 入 侵 后 ， 就 可 以 知道 他 是 如 何 得 逮 的 ， 可 以 让 人 随时 了 
解 针对 系统 所 发 动 的 最 新 的 攻击 和 漏洞 。 


7.3.8 ”态势 感知 


态势 感知 是 在 大 规模 系统 环境 中 ， 对 能 够 引起 系统 状态 发 生变 化 的 安全 要 素 进 行 获取 、 理 解 、 显 示 ， 以 及 预测 未 来 的 发 展 趋 


下 面 将 对 一 个 态势 感知 系统 中 比较 重要 的 几 部 分 进行 介绍 。 
1. 异 常 行为 检测 
异常 行为 检测 的 方法 一 般 是 运用 大 数据 分 析 技术 ， 在 特定 的 环境 中 ， 如 工控 领域 等 可 以 进行 全 流量 分 析 和 深度 包 检 测 。 


一 个 异常 行为 检测 系统 应 能 自动 进行 异常 行为 检测 ， 对 客户 的 网 络 进 行 分 析 ， 知 道 什么 是 正常 的 行为 ， 并 建立 一 个 基线 ， 如 
果 发 现 不 正常 或 者 可 疑 的 行为 就 会 报警 。 除 监视 应 用 程序 的 行为 外 ， 还 应 监视 文件 、 设 置 、 事 件 和 日 志 ， 并 报告 异常 行为 。 


总 结 来 说 有 两 种 方法 : 一 个 是 建立 正常 行为 的 基线 ， 从 而 发 现 异 常 行 为 ; 另 一 种 是 对 日 志文 件 进行 总 结 分 析 ， 从 而 发 现 异 常 


2. 脆 弱 性 评估 


客户 如 果 想 知道 自己 是 否 采用 了 足够 的 安全 措施 ， 或 者 是 否 采用 了 正确 的 步骤 来 保护 自己 的 资产 和 业务 ， 则 需要 从 众多 公布 
的 标准 和 最 佳 实践 中 获取 信息 ， 但 有 时 阅读 和 理解 一 些 相关 的 标准 有 些 困 难 。 所 以 需要 为 用 户 提供 一 套 解决 方案 被 动 或 者 主动 地 
评估 系统 、 网 络 和 应 用 ， 发 现 不 良 行为 ， 并 不 断 提供 脆弱 性 评 佑 报告 。 


脆弱 性 评估 应 具备 这 样 的 能 力 : 从 多 传感器 中 收集 网 络 通 信 事 件 ， 其 信息 数据 用 来 分 析 环 境 的 脆弱 性 ， 用 于 对 网 络 安全 进行 
持久 的 监控 。 


1) 威胁 情报 交换 


物 联网 设备 的 经 销 商 、 制 造 商 及 政府 机 构 能 够 合作 起 来 ， 及 时 发 现 各 类 木马 病毒 和 0day ( 零 日 ) 漏洞 威胁 ， 防 范 并 拦截 
APT 攻 击 、 未 知 威胁 等 新 型 恶意 攻击 ， 实 现 共 赢 局 面 。 


Intel 和 白皮书 中 指出 汽车 的 经 销 商 、 制 造 商 及 政府 机 构 能 够 联合 起 来 ， 进 行 威胁 情报 交换 ， 能 够 快速 通知 相应 的 车 辆 零 日 漏 
洞 和 恶意 软件 。CUJO 通 过 对 比 流量 信息 与 商业 威胁 情报 源 ， 来 确保 未 授权 的 IP 没 有 连接 到 用 户 的 网 络 中 。 


通过 利用 威胁 情报 ， 及 时 对 最 新 的 攻击 进行 防御 。 当 遭受 到 未 知 攻击 的 时 候 ， 及 时 将 威胁 情报 发 布 出 去 ， 实 现 威胁 情报 的 共 


享 。 
2) 可 视 化 展示 


可 视 化 展示 能 够 直观 地 呈现 数据 特点 ， 同 时 容易 被 读者 接受 和 理解 ， 所 以 大 数据 分 析 (深度 包 检测 、 全 流量 分 析 ) 结果 需要 
可 视 化 展示 。 


大 多 数 分 析 系 统 都 有 可 视 化 的 功能 ， 如 NexDefense 支 持 网 络 流量 3D 可 视 化 等 。 
可 以 通过 与 手机 App 结 合 实现 移动 可 视 化 。 
3) 物 联网 事件 响应 措施 


当 系 统 遭 到 攻击 时 ， 需 要 快速 识别 攻击 来 源 及 攻击 路 径 ， 对 攻击 做 出 快速 的 响应 ， 在 攻击 造成 更 大 的 破坏 之 前 ， 实 施 有 效 的 
措施 ， 减 少 损失 。 在 受到 攻击 之 后 ， 需 要 快速 地 采取 相应 措施 防止 此 类 攻击 事件 再 次 发 生 。 采 取 的 措施 一 般 是 态势 感知 中 的 常用 
方法 、 有 异常 行为 检测 和 及 时 打 补 丁 。 


7.3.9 ”通信 保护 


物 联网 设备 与 设备 之 间 ， 设 备 与 远程 系统 之 间 需 要 进行 通信 。 如 果 通 信和 缺少 传输 加 密 和 完整 性 验证 ， 那 么 通信 很 可 能 会 被 窃 
听 或 算 改 。 通 信保 护 需 要 对 设备 和 远程 系统 之 间 的 通信 进行 加 密 和 认证 。 


很 多 公司 的 产品 或 者 解决 方案 中 都 有 数据 的 传输 加 密 及 授权 和 认证 功能 模块 ， 如 Mocana 公 司 的 安全 服务 平台 ; Arrayent 公 
司 的 Arrayent Connect Platform; Device Authority 公 司 的 Data CentricSecurity Platform; SecureRF 公 司 开发 的 快速 、 超 
低 功 耗 的 加 密 工具 ; Bastille 团 取 发 现 的 无 线 鼠 标 和 键盘 动 持 问题 也 与 通信 保护 有 关 。 


在 工控 场景 中 ， 可 通过 单 向 网 阅 ， 实 现 数据 只 能 从 低 安全 等 级 的 系统 流向 高 安全 等 级 的 系统 。 


7.3.10 日 志和 审计 


从 行业 角度 来 说 ， 特 定 行业 的 合 规 性 必 不 可 少 。 对 于 日 志 的 分 析 有 可 能 发 现 潜在 的 威胁 ， 但 关键 点 在 大 数据 的 分 析 能 力 。 


7.4 物 联网 信息 安全 技术 


物 联网 安全 产品 的 核心 在 于 技术 ， 由 于 物 联网 的 安全 是 互联 网 安全 的 延伸 ， 那 么 我 们 可 以 利用 互联 网 已 有 的 安全 技术 ， 结 合 
物 联网 安全 问题 的 实际 需要 ， 改 进 已 有 技术 ， 将 改进 后 的 技术 应 用 到 物 联 网 中 ， 从 而 解决 物 联 网 的 安全 问题 。 例 如 ， 互 联网 环境 
中 的 防火 墙 技术 ， 主 要 是 对 TCP/IP 协 议 数据 包 进行 解 析 ， 而 在 物 联网 环境 中 ， 防 火 墙 还 需要 对 物 联 网 中 的 特定 协议 进行 解析 ， 
如 工控 环境 中 的 Modbus、PROFIBUS 等 协议 。 此 外 物 联 网 还 有 其 独特 性 ， 如 终端 设备 众多 ， 设 备 之 间 缺 乏 信任 的 问题 ， 互 联网 
中 现 有 的 技术 难以 解决 此 类 问题 ， 所 以 还 需要 探索 一 些 新 的 技术 来 解决 物 联网 中 特有 的 新 问题 。 此 外 ， 由 于 物 联网 将 许多 原本 与 
网 络 隔离 的 设备 连接 到 网 络 中 ， 大 大 增加 了 设备 遭受 攻击 的 风险 。 同 时 由 于 物 联网 中 的 设备 资源 受 限 ， 很 多 设备 在 设计 时 较 少 考 
虑 安全 问题 。 另 外 还 有 物 联网 中 协议 众多 、 没 有 统一 标准 等 这 些 安全 隐患 都 可 能 被 黑客 利用 ， 造 成 极 大 的 安全 问题 ， 所 以 我 们 需 
要 利用 一 些 漏洞 挖掘 技术 对 物 联网 中 的 服务 平台 、 协 议 、 央 入 式 操 作 系统 进行 漏洞 挖掘 ， 先 于 攻击 者 发 现 并 及 时 修补 漏洞 ， 有 效 
减少 来 自 黑 客 的 威胁 ， 提 升 系统 的 安全 性 。 因 此 主动 发 掘 并 分 析 系 统 安全 漏洞 ， 对 物 联网 安全 具有 重要 的 意义 。 


7.4.1 已 有 技术 在 物 联网 环境 中 的 应 用 


1. 攻 击 〈 异 常 ) 行为 检测 


攻击 行为 检测 的 方法 通常 有 两 个 : 一 个 是 建立 正常 行为 的 基线 ， 从 而 发 现 攻 击 行为 ; 另 一 种 是 对 日 志文 件 进行 总 结 分 析 ， 发 
现 攻击 行为 。 


物 联 网 与 互联 网 的 攻击 行为 检测 技术 也 有 一 些 区 别 ， 如 利用 大 数据 分 析 技 术 ， 对 全 流量 进行 分 析 ， 进 行 攻 击 行为 检测 。 在 互 
联网 环境 中 ， 这 种 方法 主要 是 对 TCP/IP 协 议 的 流量 进行 检测 和 分 析 ， 而 在 物 联网 环境 中 ， 还 需要 对 其 他 的 协议 流量 进行 分 析 ， 
如 工控 环境 中 的 Modbus、PROFIBUS 等 协议 流量 。 此 外 ， 物 联网 的 攻击 行为 检测 也 会 应 用 到 新 的 应 用 领域 中 ， 如 在 车 联网 环境 
中 对 汽车 进行 异常 行为 检测 。360 研 究 员 李 均 利用 机 器 学 习 的 方法 ， 为 汽车 的 不 同 数据 之 间 的 相关 性 建立 了 一 个 模型 ， 这 个 模型 
包含 了 诸多 规则 ， 依 靠 对 行为 模式 、 数 据 相关 性 和 数据 协调 性 的 分 析 ， 检 测 是 否 有 黑客 入 侵 攻 击 。 

2. 代 码 签名 

通过 代码 签名 可 以 保护 设备 不 受 攻击 ， 保 证 所 有 运行 的 代码 都 是 被 授权 的 ， 保 证 恶意 代码 在 一 个 正常 代码 被 加 载 之 后 不 会 覆 
盖 正 常 代码 ， 保 证 代码 在 签名 之 后 不 会 被 自 改 。 相 较 于 互联 网 ， 物 联网 中 的 代码 签名 技术 不 仅 可 以 应 用 在 应 用 级 别 ， 还 可 以 应 用 
在 固件 级 别 。 所 有 的 重要 设备 ， 包 括 传感器 、 交 换 机 等 都 要 保证 所 有 在 其 上 运行 的 代码 都 经 过 签名 ,没有 被 签名 的 代码 不 能 运 


行 。 

由 于 物 联网 中 的 一 些 谋 入 式 设备 资源 受 限 ， 其 处 理 器 能 力 、 通 信人 能 力 、 存 储 空间 有 限 ， 所 以 需要 建立 一 套 适合 物 联 网 自身 特 
点 的 、 综 合 考虑 安全 性 、 效 率 和 性 能 的 代码 签名 机 制 。 

3. 白 盒 密码 


物 联网 感知 设备 的 系统 安全 、 数 据 访问 和 信息 通信 通常 都 需要 加 密 保护 。 但 由 于 感知 设备 常常 散布 在 无 人 区 域 或 者 不 安全 的 
物理 环境 中 ， 这 些 节 点 很 可 能 会 遭 到 物理 上 的 破坏 或 俘获 。 如 果 攻 击 者 俘获 了 一 个 节点 设备 ， 就 可 以 对 设备 进行 白 盒 攻击 。 传 统 
的 密码 算法 在 白 盒 攻击 环境 中 不 能 安全 使 用 ， 甚 至 显得 极度 脆弱 ， 密 铀 成 为 任何 使 用 密码 技术 实施 保护 系统 的 单一 故障 点 。 在 当 


前 的 攻击 手段 中 ， 很 容易 通过 对 二 进 制 文件 的 反 汇编 、 静 态 分 析 ， 对 运行 环境 的 控制 结合 使 用 控制 CPU 断 点 、 观 测 寄存 器 、 内 
存 分 析 等 来 获取 密码 。 通 过 对 已 有 的 案例 进行 分 析 得 出 ， 在 未 受 保护 的 软件 中 ， 密 钥 提 取 攻 击 通 常 可 以 在 儿 个 小 时 内 成 功 提取 以 
文字 数据 阵列 方式 存放 的 密 钥 代码 。 


白 盒 密码 算法 是 一 种 新 的 密码 算法 ， 它 与 传统 密码 算法 的 不 同 点 是 能 够 抵抗 攻击 环境 下 的 黑客 入 侵 。 白 盒 密码 使 得 密 钥 信息 
后 


白 盒 密码 作为 一 个 新 兴 的 安全 应 用 技术 ， 能 普遍 应 用 在 各 个 行业 领域 和 各 个 技术 实现 层面 。 例 如 ，HCE 云 文 付 、 车 联网 ， 在 
端点 (手机 终端 、 车 载 终端 ) 层面 实现 了 密 铀 与 敏感 数据 的 安全 保护 ; 在 云 计算 上 ， 可 对 云 上 的 软件 使 用 白 盒 密码 ， 保 证 在 云 这 
个 共享 资源 地上， 进行 加 解密 运算 时 用 户 需要 保密 的 信息 不 会 被 泄露 。 


4. 空 中 下 载 技术 (OTA) 


空中 下 载 技 术 (Over-the Air Technology，OTA) ， 最 初 是 运营 商 通 过 移动 通信 网 络 (GSM 或 CDMA) 的 空中 接口 对 
SIM 卡 数据 及 应 用 进行 远程 管理 的 技术 ， 后 来 逐渐 扩展 到 固件 升级 、 软 件 安全 等 方面 。 


随 着 技术 的 发 展 ， 物 联网 设备 中 总 会 出 现 脆弱 性 ， 所 以 设备 在 销售 之 后 ， 需 要 持续 地 打 补 丁 。 而 物 联网 的 设备 往往 数量 巨 
大 ， 如 果 人 工 更 新 每 个 设备 是 不 现实 的 ， 所 以 OTA 技 术 在 设备 销售 之 前 应 该 被 植 入 物 联 网 设备 中 。 


5. 深 度 包 检 测 技术 (DPID) 


互联 网 环境 中 通常 使 用 防火 墙 来 监视 网 络 上 的 安全 风险 ， 但 是 这 样 的 防火 墙 针 对 的 是 TCP/IP 协 议 ， 而 物 联网 环境 中 的 网 络 
协议 通常 不 同 于 传统 的 TCP/IP 协 议 ， 如 工控 中 的 Modbus 协 议 等 ， 这 使 得 控制 整个 网 络 风 险 的 能 力 大 打折 扣 。 因 此 ， 需 要 开发 
能 够 识别 特定 网 络 协议 的 防火 墙 ， 与 之 相对 应 的 技术 则 为 深度 包 检 测 技术 。 


深度 包 检测 技术 (Deep Packet Inspection，DPI) 是 一 种 基于 应 用 层 的 流量 检测 和 控制 技术 ， 当 IP 数 据 包 、TCP 或 UDP 数 
据 流通 过 基于 DPI 技术 的 带宽 管理 系统 时 ， 该 系统 通过 深入 读 取 IP 包 载荷 的 内 容 对 Os| 七 层 协 议 中 的 应 用 层 信 息 进行 重组 ， 从 而 
得 到 整个 应 用 程序 的 内 容 ， 然 后 按照 系统 定义 的 管理 策略 对 流量 进行 重组 操作 。 


思科 公司 和 罗 克 韦 尔 自动 化 公司 联手 开发 了 一 项 符合 工业 安全 应 用 规范 的 深度 数据 包 检 测 (DPI) 技术 。 采 用 DPI 技术 的 工 
业 防 火 墙 有 效 扩展 了 车 间 网 络 情况 的 可 见 性 。 它 支持 通信 模式 的 记录 ， 可 在 一 系列 安全 策略 的 保护 之 下 提供 决策 制定 所 需 的 重要 
言 息 。 用 户 可 以 记录 任意 网 络 连 接 或 协议 (如 EtherNet/IP) 中 的 数据 ， 包 括 通信 数据 的 来 源 、 目 标 及 相关 应 用 程序 。 


在 全 厂 融 合 以 太 网 (CPWE) 架构 中 的 工业 区 域 和 单元 区 域 之 间 ， 采 用 DPI 技术 的 车 间 ， 应 用 程序 能 够 指示 防火 墙 拒绝 某 个 
控制 器 的 固件 下 载 。 这 样 可 防止 滥用 固件 ， 有 助 于 保护 运营 的 完整 性 ， 只 有 授权 用 户 才能 执行 下 载 操作 。 


6. 防 火 墙 


物 联网 环境 中 ， 存 在 很 小 并 且 通 常 是 很 关键 的 设备 接 入 网 络 ， 这 些 设备 由 8 位 的 MCU 控 制 。 由 于 资源 受 限 ， 对 于 这 些 设备 的 
安全 实现 非常 有 挑战 。 这 些 设 备 通常 会 实现 TCP/IP 协 议 栈 ， 使 用 因特网 来 报告 、 配 置 和 控制 相应 功能 。 由 于 资源 和 成 本 方面 的 
考虑 ， 除 密码 认证 外 ， 许 多 使 用 8 位 MCU 的 设备 并 不 支持 其 他 的 安全 功能 。 


ZiLOG 公 司 和 Icon_Labs 联 合 推出 了 使 用 8 位 MCU 的 设备 安全 解决 方案 。ZiLOG 提 供 的 MCU，lcon_Labs 将 Floodgate 防 火 
墙 集成 到 MCU 中 ， 提 供 基 于 规则 的 过 滤 、SPI (Stateful Packet Inspection) 和 基于 门限 的 过 滤 (Threshold-based 
Filtering) 。 防 火 墙 控制 嵌入 式 系统 处 理 的 数据 包 ， 锁 定 非法 登录 尝试、 拒绝 服务 攻击 、 端 口 扫描 和 其 他 常见 的 网 络 威胁 。 


7. 访 问 控制 


传统 企业 网 络 架构 通过 建立 一 个 固定 的 边界 使 内 部 网 络 与 外 部 世界 分 离 ， 这 个 边界 包含 一 系列 的 防火 墙 策略 来 阻止 外 部 用 户 
的 进入 ， 但 是 允许 内 部 用 户 对 外 的 访问 。 由 于 封锁 了 外 部 对 于 内 部 应 用 和 设施 的 可 见 性 和 可 访问 性 ， 传 统 的 固定 边界 保障 了 内 部 
服务 对 于 外 部 威胁 的 安全 。 企 业 网 络 架构 中 的 固定 边界 模型 正在 变 得 过 时 (落后 ) ，BYOD 和 钓鱼 攻击 提供 了 对 于 内 部 网 络 的 不 
可 信访 问 ，SaaS 和 laaS 正 在 改变 边界 的 位 置 。 


软件 定义 边界 (Software Defined Perimeter，SDP) 使 得 应 用 项 目 所 有 者 部 署 的 边界 ， 可 以 保持 传统 模型 中 对 于 外 部 用 
户 的 不 可 见 性 和 不 可 访问 性 ， 该 边界 可 以 部 署 在 任意 的 位 置 上 ， 如 网 络 、 云 中 、 托 管 中 心 、 私 营 企 业 网 络 ， 或 者 穿 过 这 些 位 置 。 


SDP 用 应 用 所 有 者 可 控 的 逻辑 组 件 取代 了 物理 设备 ， 只 有 在 设备 证 实 和 身份 认证 之 后 ，SDP 才 提供 对 于 应 用 基础 设施 的 访 
问 。 


大 量 设 备 连 接 到 因特网 中 ， 而 管理 这 些 设 备 、 从 这 些 设 备 中 提取 信息 的 后 端 应 用 通常 很 关键 ， 扮 演 着 隐私 或 敏感 数据 监护 人 
的 角色 。SDP 可 以 被 用 来 隐藏 服务 器 和 服务 器 与 设备 的 交互 ， 从 而 最 大 化 地 保障 安全 和 运行 时 间 。 


7.4.2 ”新 技术 的 探索 


区 块 链 (Block Chain，BC) 是 指 通过 去 中 心 化 和 去 信任 的 方式 集体 维护 一 个 可 靠 数 据 库 的 技术 方案 。 该 技术 方案 主要 让 参 
与 系统 中 的 多 个 节点 ， 通 过 使 用 密码 学 方法 ， 产 生 相 关联 的 数据 块 (Block) ， 每 个 数据 块 中 包含 了 一 定时 间 内 的 系统 信息 交换 
数据 ， 并 且 生 成 数据 指纹 ， 用 于 验证 其 信息 的 有 效 性 。 结 合 区 块 链 的 定义 ， 区 块 链 的 特征 有 : 去 中 心 化 (Decentralized) 、 去 
信任 (Trustless) 、 集 体 维护 (Collectively Maintain) 、 可 靠 数据 库 (ReliableDatabase) 、 开 源 性 和 匿名 性 。 区 块 链 解决 
的 核心 问题 不 是 “数字 货币 ”， 而 是 在 信息 不 对 称 、 不 确定 的 环境 下 ， 如 何 建立 满足 经 济 活动 赖 以 发 生 、 发 展 的 “信任 ”生态 体 
系 。 在 物 联网 中 ， 所 有 日 常 家 居 都 能 自发 、 自 动 地 与 其 他 物件 或 外 界 世界 进行 互动 ， 但 是 必须 解决 物 联网 设备 之 间 的 信任 问题 。 


越 来 越 多 的 侵犯 用 户 隐私 的 案件 说 明 第 三 方 收集 和 控制 大 量 的 个 人 数据 的 模式 需要 改变 。1BM 认 为 物 联网 设备 的 运行 环境 应 
该 是 去 中 心 化 的 ， 它 们 彼此 相连 ,形成 分 布 式 云 网 络 。 而 要 打造 这 样 一 种 分 布 式 云 网 络 ， 就 要 解决 节点 信任 问题 。 在 传统 的 去 中 
心 化 系统 中 ， 信 任 机 制 比 较 容易 建立 ， 由 一 个 可 信 的 第 三 方 来 管理 所 有 设备 的 身份 信息 。 但 是 物 联网 环境 中 设备 众多 ， 可 能 会 达 
到 百 亿 级 别 ， 这 会 对 可 信 第 三 方 造成 很 大 的 压力 。IBM 认 为 区 块 链 技术 可 以 完满 地 解决 这 个 问题 。 


Guy Zyskind 等 人 提出 了 一 种 分 散 式 的 个 人 数据 管理 系统 ， 来 实现 用 户 数据 的 保护 ， 确 保 用 户 可 以 拥有 并 管理 自己 的 数据 ， 
实现 了 将 区 块 链 应 用 于 自动 访问 控制 管理 而 不 需要 可 信和 的 第 三 方 。 


7.4.3 物 联 网 相关 设备 、 平 台 、 系 统 的 漏洞 挖 握 和 安全 设计 
物 联网 相关 设备 、 平 台 、 系 统 的 漏洞 控 气 技术， 有 助 于 发 现 0day 漏 洞 和 未 知 威胁 ， 从 而 提升 IDS、 防 火 墙 等 安全 产品 的 检测 
和 防护 能 力 。 


将 安全 产品 嵌入 设备 中 ， 或 者 在 产品 设计 时 采用 物 联 网 设备 安全 框架 ， 在 物 联网 设备 生产 时 就 要 考虑 安全 问题 ， 这 些 措施 可 
以 极 大 提升 物 联网 设备 的 安全 性 。 


1. 物 联网 平台 漏洞 挖掘 


随 着 物 联网 的 发 展 ， 将 会 出 现 越 来 越 多 的 物 联 网 平台 。BAT 三 巨头 (百度 、 阿 里 巴巴 、 腾 讯 ) 均 已 推出 了 智能 硬件 开放 平 


台 。 而 国外 免费 的 物 联 网 云 平台 有 Temboo、Carriots、NearBus 和 Ubidots。 但 是 ， 目 前 对 于 物 联 网 平台 安全 性 的 分 析 还 不 
多 ， 相 信 以 后 物 联 网 平台 的 安全 性 将 会 越 来 越 多 地 受到 人 们 的 关注 。 


Samsung SmartThings 是 一 个 智能 家 庭 编 程 平台 ， 密 欣 根 大 学 和 微软 研究 院 的 研究 人 员 对 其 上 的 499 个 应 用 和 132 个 设备 管 
理 器 (Device Handlers) 进行 了 静态 代码 分 析 (Static Codeanalysis) ， 并 将 论文 发 表 在 S&P2016 上 。 论 文中 主要 提 到 了 两 点 
发 现 ， 第 一 点 是 ， 虽 然 SmartThings 实 现 了 一 个 特权 分 离 模 型 (Privilege Separation Model) ， 但 是 有 两 个 固有 的 设计 缺陷 ， 
可 导致 App 越 权 ; 第 二 点 是 关于 SmartThings 的 事件 子 系统 ， 设 备 与 App 之 间 通 过 其 进行 异步 通信 ， 但 该 子 系统 并 未 对 包含 敏感 
言 息 (如 Lock Codes) 的 事件 提供 足够 的 保护 。 研 究 人 员 利 用 框架 设计 漏洞 实现 了 4 个 攻击 : 修改 门 锁 密 码 、 窃 取 己 有 的 门 锁 密 
码 、 荣 用 家 庭 的 假期 模式 、 触 发 一 次 虚假 的 火灾 告警 。 


2. 物 联网 协议 的 0day 漏 洞 主动 挖掘 技术 


在 汽车 、 工 控 等 物 联网 行业 ， 各 种 网 络 协议 被 广泛 使 用 ， 这 些 网 络 协议 带 来 了 大 量 的 安全 问题 。 很 多 研究 者 开始 针对 工控 等 
系统 ， 特 别 是 具有 控制 功能 的 网 络 协议 的 安全 性 展开 了 研究 。 在 QCon201620 的 会 议 中 ， 有 研究 人 员 提 出 可 用 网 络 协议 Fuzzing 
技术 对 0day 漏 洞 进行 挖掘 。 


3. 物 联网 操作 系统 漏洞 挖掘 


物 联网 设备 大 多 使 用 嵌入 式 操 作 系统 ， 谋 入 式 系 统 通常 内 核 较 小 、 专 用 性 强 、 系 统 精 简 、 实 时 性 高 ， 但 安全 性 在 嵌入 式 系 统 
中 处 于 较 低 的 位 置 。 随 着 设备 逐渐 接 入 互联 网 ， 操 作 系 统 的 安全 性 需要 重点 关注 。 


2015 年 ，44CON 伦 敦 峰会 中 ， 研 究 人 员 采 用 了 Fuzzing (Fuzzing 是 一 种 基于 缺陷 注入 的 自动 软件 测试 技术 ) 框架 
Sulley (是 一 款 用 Python 实 现 的 用 于 网 络 协 议 fuzz testing 的 开源 测试 框架 ) ， 对 VxWorks 系统 的 多 个 协议 进行 了 模糊 测试 ， 挖 
掘 到 一 些 漏洞 ， 并 结合 VxWorks 的 WDB RPC 协 议 实现 了 一 个 远程 调试 器 ， 进 行 了 相关 调试 分 析 。 

4. 柑 入 式 设备 安全 框架 

嵌入 式 设备 众多 ， 而 且 大 多 在 安全 设计 方面 考虑 不 足 。 联 网 的 设备 往往 存在 极 大 的 潜在 威胁 。 作 为 设备 制造 商 ， 应 在 窦 入 式 
设备 的 设计 过 程 中 就 得 考虑 安全 框架 问题 ， 对 峡 入 式 设备 进行 安全 设计 。 


Icon Labs21 是 岩 入 式 设备 安全 厂商 ， 其 提出 了 Floodgate 安 全 框架 ， 用 于 构建 安全 的 嵌入 式 设备 。Floodgate 安 全 框架 模 
块 (如 图 7.4 所 示 ) 既 可 以 作为 单独 的 产品 使 用 ， 也 可 以 集成 到 已 有 的 嵌入 式 Linux 和 任何 RTOS 中 。 


嵌入 式 设 备 


图 7-4 Floodgate 安 全 框架 


网 闸 防火墙 : 是 一 个 嵌入 式 防 火 墙 ， 提 供 状态 包 检 测 (Stateful Packet Inspection，SPI) 、 基 于 规则 的 过 滤 和 基于 门限 的 
过 滤 来 保护 嵌入 式 设备 免 受 来 自 互联 网 的 威胁 。 


网 闸 入 侵 检 测 : 对 嵌入 式 Linux 和 RTOS 设 备 提供 保护 ， 其 能 检测 出 固件 、 配 置信 息 和 静态 数据 的 改变 。 
网 闸 决策 分 析 : 确保 只 有 从 OEM 认 证 的 固件 才 人 允许 在 这 台 设 备 上 运行 。 


网 疗 代 理 : 提供 对 于 嵌入 式 和 物 联网 设备 的 态势 感知 、 安 全 事件 报告 、 命 令 审 计 日 志和 安全 策略 管理 ， 同 时 也 提供 与 企业 安 
全 管理 系统 的 集成 。 


7.5 云 计算 安全 


某 些 安全 方面 的 问题 可 以 交 给 云 计 算 去 做 ， 如 外 网 防火 墙 ， 使 用 云 主机 就 可 以 使 用 云 平 台 提 供 的 外 网 防火 墙 。 其 提供 简单 的 
功能 ， 比 如 对 端口 和 IP 进 行 放行 或 者 拦截 的 限制 。 未 来 云 计算 的 发 展 应 该 会 提供 更 丰富 又 好 用 的 防火 墙 ， 即 高 防 服务 。 对 于 抗 
DDoS 来 说 ， 使 用 云 平台 的 高 防 服务 是 省 钱 、 省 力 的 一 件 事 情 ， 比 如 UCloud 专 业 云 计算 服务 商 的 高 防 可 以 抗 400Gbps 的 攻击 ， 
使 用 的 是 一 个 专门 的 数据 清洗 机 制 。 但 并 不 是 每 天 都 会 遇 到 DDoS 攻击 ， 如 果 自 己 组 建 一 个 团队 再 部 署 一 个 数据 清洗 机 制 ， 用 几 
百 兆 的 带宽 来 做 这 件 事情 ， 则 成 本 高 ， 得 不 偿 失 ， 因 此 使 用 云 服务 是 比较 合适 的 。 


服务 器 审计 系统 也 就 是 堡垒 机 。 使 用 云 上 的 堡垒 机 不 容易 宕 机 ， 数 据 不 容易 被 算 改 。 堡 垒 机 作为 第 三 方 提 供 的 服务 ， 数 据 存 
放 在 堡垒 机 上 ， 但 是 自己 人 没 办 法 去 修改 设备 中 的 数据 ， 因 此 更 安全 。 代 码 审计 、 渗 透 测 试 、 代 码 框架 的 安全 功能 ， 这 些 属于 有 


点 烦琐 的 工程 ， 大 部 分 用 户 没 有 足够 的 人 员 去 应 付 产 品 线 交 付 的 数据 量 庞大 的 代码 ， 没 有 能 力 去 实践 完整 的 9DL， 这 也 是 比较 有 
挑战 的 安全 业务 ， 而 且 还 在 持续 增长 中 。 


业务 安全 ， 包 括 账号 安全 、 交 易 风 控 、 反 价格 聆 虫 、 反 作弊 、 反 钓鱼 、 反 垃圾 信息 ， 这 些 数据 大 型 互联 网 公司 都 有 非常 好 的 
积累 ， 可 以 直接 拿 过 来 用 ， 但 存在 一 个 弊端 就 是 对 业务 的 了 解 不 足 ， 需 要 投入 人 力 对 业务 安全 的 规则 、 逻 辑 进 行 优化 。 


目前 优秀 的 反 欺 诈 广 家 有 同 盾 、 通 付 慎 、 阿 里 的 蚁 盾 。 云 计算 不 能 防护 到 的 安全 方面 的 问题 包括 : 办 公 网 安全 品牌 营销 和 渠 
道 维 护 。 办 公 网 安全 需要 企业 提升 员工 的 安全 意识 ， 对 接 整 个 公司 的 各 个 部 门 ， 将 纸 质 文档 、 客 户 隐私 、 内 部 邮件 等 保护 起 来 。 
安全 品牌 营销 和 渠道 维护 指 为 品牌 的 安全 形象 进行 市 场 宣传 ， 尤 其 对 于 金融 公司 ， 使 用 者 都 非常 天 心 金融 公司 的 资金 安全 性 ， 应 
通过 对 一 些 安全 资质 的 评审 ， 如 信息 安全 评审 或 者 三 级 等 级 保护 评审 ， 对 业务 形成 自己 的 风 控 及 安全 管理 方法 论 ， 要 有 自主 评估 
和 修复 的 能 力 。 


7.6 本章 小 结 


本 章 讲解 了 信息 安全 的 基本 概念 ， 信 息 就 要 真实 、 完 整 、 可 用 ， 安 全 就 是 信息 不 能 算 改 、 帘 视 、 次 用。 为 解决 信息 安全 问 
题 ， 本 章 还 讲解 了 一 些 信息 安全 对 策 。 


1. 信 息 安全 的 基本 要 求 有 哪些 ? 

2. 物 联网 信息 安全 有 哪些 层次 ? 

3. 简 述 隐私 保护 的 方法 。 

4. 简 述 攻击 检测 和 防御 方法 。 

5. 社 会 调查 : 当下 黑客 的 网 络 攻击 形式 和 案例 。 


6. 国 家 之 间 的 网 络 安全 和 对 策 有 哪些 ? 


第 8 章 ”私有 云 服务 


云 计 算 可 以 看 作 是 分 布 式 计算 的 一 种 。 云 计算 是 分 布 式 计算 、 集 群 计 算 、 网 格 计 算 和 公用 计算 等 各 种 计算 技术 发 展 融合 的 产 
物 。 不 同 的 人 会 从 各 自 的 角度 来 前 述 云 计算 ， 这 就 造成 了 云 计 算 的 定义 较为 复杂 和 混乱 。 


早 在 2006 年 “ 云 计 算 ” 就 开始 进入 大 众 视线 。 最 早 是 亚马逊 推出 弹性 计算 云 服务 ， 谷 歌 公司 也 在 同年 提出 “ 云 计 算 ” 概 


念 。 什 么 是 云 计算 ? 当时 一 直 没 有 一 个 明确 的 定义 。 而 后 ， 美 国 国家 标准 和 技术 研究 院 定 义 了 云 计 算 的 部 署 模 型 ， 具 体 如 下 。 


公有 云 (Public Cloud) : 公有 云 服务 可 通过 网 络 及 第 三 方 服 务 提供 者 开放 给 用 户 使 用 。“ 公 有 ”一 词 并 不 一 定 代 表 “ 免 
费 ”， 也 不 表示 用 户 数据 可 供 任何 人 查看 。 公 有 云 服务 提供 者 通常 会 对 其 用 户 实施 访问 控制 机 制 。 公 有 云 作 为 解决 方案 ， 既 有 弹 
性 又 具备 成 本 效益 。 


私有 云 (Private Cloud) : 具备 许多 公有 云 环境 的 优点 (如 弹性 、 适 合 提供 服务 ) 。 两 者 的 差别 在 于 ， 私 有 云 服务 中 数据 
与 程序 皆 在 组 织 内 管理 ， 且 不 会 受到 网 络 带宽 、 用 户 对 安全 性 疑虑 的 影响 。 此 外 ， 因 为 用 户 与 网 络 都 受到 了 特殊 限制 ， 所 以 私有 
云 服务 能 让 其 提供 者 及 用 户 更 好 地 掌控 云 基础 架构 ， 改 善 安全 性 与 弹性 。 


社区 云 (Community Cloud) : 由 众多 利益 相仿 的 组 织 掌控 和 使 用 (如 特定 安全 要 求 、 共 同宗 旨 等 ) ， 社 区 成 员 共同 使 用 
云 数据 及 应 用 程序 。 


混合 云 (Hybrid Cloud) : 结合 了 公有 云 及 私有 云 。 在 这 个 模式 中 ， 用 户 通常 将 企业 非 关键 信息 外 包 ， 并 在 公有 云 上 进行 
人 处理， 但 同时 掌控 企业 关键 服务 及 数据 。 


8.1 私有 云 


私有 云 是 为 一 个 客户 单独 使 用 而 构建 的 云 服务 ， 因 而 可 以 提供 对 数据 、 安 全 性 和 服务 质量 的 最 有 效 控制 。 该 客户 拥有 基础 设 
施 ， 在 此 基础 上 部 署 相应 的 系统 平台 和 云 服务 软件 。 私 有 云 可 部 署 在 企业 数据 中 心 的 防火 墙 内 ， 也 可 以 将 它们 部 署 在 一 个 安全 的 
主机 托管 场所 。 私 有 云 的 核心 属性 是 专 有 资源 。 


我 们 正 处 于 数据 量 和 计算 要 求 呈 爆炸 式 增 长 的 时 代 。 随 着 移动 趋势 的 不 断 深化 和 市 场 全 球 化 趋势 的 加 剧 ， 联 网 的 人 员 、 设 备 
和 应 用 的 数量 都 在 快速 攀升 ， 带 动 数据 中 心 流 量 和 工作 负载 持续 增长 。 然 而 ， 这 些 由 人 产生 的 需求 只 占 总 需求 的 一 小 部 分 。 分 析 
师 估计 ， 到 2020 年 ， 联 网 智能 机 器 和 传感器 的 数量 将 达到 500 人 2 件 ， 物 联网 的 普及 (loT) 会 让 全 球 数据 中 心 流 量 增加 约 3 倍 。 


鉴于 这 种 快速 增长 ， 采 用 云 计算 已 是 势 在 必 行 。 传 统 基础 设施 解决 方案 由 于 成 本 太 高 和 不 够 灵活 ， 已 无 法 支持 如 此 快速 增长 
和 瞬息 万 变 的 要 求 。 云 计算 可 以 帮助 企业 建立 自助 门户 ， 使 最 终 用 户 和 软件 开发 团队 可 便捷 地 按 需 使 用 计算 资源 ， 从 而 显著 加 快 
开发 和 部 署 新 应 用 的 速度 。 另 外 ， 云 计算 还 支持 在 数据 中 心 实现 多 租户 资源 共享 ， 可 大 幅 降 低 IT 服 务 的 成 本 。 


虽然 云 计算 能 够 支持 企业 更 高 效 、 敏 捷 地 部 署 和 扩展 IT 服务 ， 但 许多 公司 仍 不 愿 将 关键 工作 放 在 公有 云 上 。 这 主要 是 出 于 对 
安全 性 、 合 规 性 (包括 数据 弹性 ) 和 服务 级 别 保障 的 考虑 。 部 署 一 个 安全 的 开放 式 私 有 云 平台 ， 并 将 其 与 公有 云 平台 一 起 形成 一 
个 混合 云 服务 平台 成 为 了 较为 受 欢 迎 的 解决 方案 。 即 使 用 内 部 私有 云 来 运行 关键 工作 ， 使 用 公有 云 来 运行 不 敏感 的 工作 和 扩 大 容 
量 。 目 前 已 有 多 家 公司 包括 PayPal、 沃 尔 玛 等 在 使 用 开源 的 私有 云 ， 来 部 署 软件 ， 迁 移 上 IT 业务 ， 以 向 最 终 用 户 提供 高 效 的 资源 
池 、 灵 活 的 可 扩展 性 及 自助 配置 服务 能 力 。 


私有 云 相对 于 公有 云 有 什么 特点 呢 ? 
1 .数据 安全 


虽然 每 个 公有 云 的 提供 商都 对 外 宣称 其 服务 在 各 方面 都 是 非常 安全 的 ， 尤 其 是 对 数据 的 管理 更 加 安全 。 但 是 对 企业 特别 是 大 
型 企业 而 言 ， 和 业务 有 关 的 数据 是 其 生命 线 ， 是 不 能 受到 任何 形式 的 威胁 ， 所 以 短期 内 大 型 企业 是 不 会 将 关键 数据 放 到 公有 云 上 
运行 的 。 因 此 私有 云 在 这 方面 是 有 优势 的 ， 因 为 它 一 般 都 构筑 在 防火 墙 后 。 


2.SLA (服务 质量 ) 


因为 私有 云 一 般 构 筑 在 防火 墙 之 后 ， 而 不 是 在 某 一 个 遥远 的 数据 中 心中 ， 所 以 当 公司 员 工 访问 那些 基于 私有 云 的 应 用 时 ， 它 
的 SLA 应 该 会 非常 稳定 ， 不 会 受到 网 络 不 稳定 的 影响 。 


3. 充 分 利用 现 有 硬件 资源 和 软件 资源 


虽然 公有 云 的 技术 很 先进 ， 但 现 有 的 公有 云 对 Cobol、C、C++ 和 Java 等 语言 兼容 性 较 差 ， 造 成 部 分 企业 核心 业务 的 软件 应 
用 在 公有 云 上 部 署 困难 。 而 私有 云 在 这 方面 的 支持 较 好 。 例 如 ，1BM 推 出 的 Cloudburst 云 基础 架构 ， 通 过 Cloudburst 能 非常 方 
便 地 构建 基于 Java 的 私有 云 ， 一 些 私有 云 的 工具 能 够 利用 企业 现 有 的 硬件 资源 来 构建 云 ， 这 样 极 大 地 降 了 低 企业 成 本 。 


4. 不 影响 现 有 IT 管理 


对 大 型 企业 而 言 ， 数 据 管理 及 安全 规定 与 公有 云 本 身 是 矛盾 的 。 而 私有 云 由 于 部 署 在 防火 墙 内 或 企业 内 部 ， 在 这 方面 有 天 然 
的 优势 。 


8.2 ”私有 云 解 决 方案 


云 计算 主流 的 解决 方案 有 四 种 : Openstack、CloudStack、Eucalyptus 和 VM ware vCloudStuite， 其 中 前 两 种 是 开源 的 
私有 云 解决 方案 。 


1. 云 计算 管理 平台 OpenStack 


Openstack 是 一 个 由 美国 国家 航空 航天 局 (NASA) 和 Rackspace 公 司 合作 研发 并 发 起 的 ， 是 Apache 许 可 证 授权 的 自由 软 
件 和 开放 源 代码 项 目 。 


OpenStack 是 一 个 开源 的 云 计算 管理 平台 项 目 ， 由 几 个 主要 的 组 件 组 合 起 来 完成 具体 工作 。OpenStack 支 持 几乎 所 有 类 型 
的 云 环境 ， 项 目 目标 是 提供 实施 简单 、 可 大 规模 扩展 、 标 准 统一 的 云 计算 管理 平台 。OpenStack 通 过 各 种 互补 的 服务 提供 了 
laas 的 解决 方案 ， 每 个 服务 提供 API 接 口 进行 集成 。 


OpenStack 社 区 拥有 超过 130 家 企业 及 1350 位 开发 者 ， 这 些 机 构 与 个 人 都 将 OpenStack 作 为 laaS 资 源 的 通用 前 端 。 
OpenStack 项 目的 首要 任务 是 简化 云 的 部 署 过 程 并 为 其 带 来 良好 的 可 扩展 性 。 


Openstack 云 计算 平台 ， 帮 助 服务 商 和 企业 内 部 实现 类 似 于 Amazon EC2 和 393 的 云 基础 架构 服务 (laaS) 。OpenStack 包 
含 两 个 主要 模块 : Nova 和 Swift， 前 者 是 NASA 开 发 的 虚拟 服务 器 部 署 和 业务 计算 模块 ; 后 者 是 Rackspace 公 司 开发 的 分 布 式 云 
人 存储 模块 ， 两 者 可 以 一 起 用 ， 也 可 以 分 开 单 独 用 。Openstack 除 了 有 NASA 和 Rackspace 公 司 的 大 力 支 持 外 ， 还 有 包括 戴尔 、 思 
杰 、 思 科 和 Canonical 等 重量 级 公司 的 贡献 和 支持 ， 发 展 速度 非常 快 ， 有 取代 另 一 个 业界 领先 开源 云 平 台 Eucalyptus 的 态势 。 


Openstack 的 开发 周期 是 每 年 固定 发 布 两 个 新 版 本 ， 并 且 每 一 个 新 版 本 发 布 时 ， 开 发 者 与 项 目 技术 领导 者 已 经 在 规划 下 一 
个 版 本 的 细节 了 。 这 些 开 发 者 来 自 全 球 70 多 个 组 织 ， 超 过 1600 人 。 他 们 采用 高 级 的 工具 与 开发 方式 ， 进 行 代码 查看 、 持 续 的 集 
成 、 测 试 与 架构 开发 工作 ， 让 版 本 在 快速 成 长 的 同时 也 能 保持 其 稳定 性 。 


2. 云 计算 平台 CloudStack 


Cloudstack 是 一 个 开源 的 具有 高 可 用 性 及 扩展 性 的 云 计算 平台 ， 同 时 是 一 个 开源 云 计算 解决 方案 是 一 个 可 加 速 、 可 伸缩 的 


公共 和 私有 云 (1aaS) 的 部 署 、 管 理 、 配 置 工具 。 用 CloudStack 作 为 基础 ， 数 据 中 心 操作 者 可 以 方便 地 通过 现 有 基础 架构 创建 


云 服务 。 


Cloudstack 目 前 支持 管理 大 部 分 主流 的 Hypervisor， 如 KVM 虚 拟 机 、Xenserver、VMware，Oracle VM 和 Xen 等 。 


Hypervisor 是 一 种 运行 在 物理 服务 器 和 操作 系统 之 间 的 中 间 软 件 层 ， 可 允许 多 个 操作 系统 和 应 用 共享 一 套 基础 物理 硬件 ， 
此 也 可 以 看 作 是 虚拟 环境 中 的 “元 ”操作 系统 。 它 可 以 协调 访问 服务 器 上 的 所 有 物理 设备 和 虚拟 机 ， 也 叫 虚 拟 机 监视 器 
(Virtual Machine Monitor) 。Hypervisor 是 所 有 虚拟 化 技术 的 核心 。 非 中 断 地 支持 多 工作 负载 迁移 能 力 是 Hypervisor 的 基本 
功能 。 当 服务 器 启动 并 执行 Hypervisor 时 ， 它 会 给 每 一 台 虚 拟 机 分 配 适量 的 内 存 、CPU、 网 络 和 磁盘 ， 并 加 载 所 有 虚拟 机 的 客 
户 操作 系统 。 


利用 Cloudstack 工 具 构 建 云 基础 设施 和 数据 中 心 ， 运 营 商 可 以 快速 、 轻 松 地 利用 现 有 的 基础 设施 提供 云 服 务 。Cloudstack 
用 户 可 以 利用 云 计 算 提供 更 高 的 工作 效率 ， 无 限 地 扩张 规模 ， 更 快 地 部 署 新 服务 。 


CloudStack 是 一 个 开源 的 云 操 作 系 统 ， 它 可 以 帮助 用 户 利用 自己 的 硬件 提供 类 似 Amazon EC2 那 样 的 公共 云 服务 。 
CloudSstack 可 以 通过 组 织 、 协 调 虚 拟 化 资源 ， 构 建 一 个 和 谐 的 云 环 境 、 一 个 安全 的 多 租户 云 计算 环境 。CloudStack 兼 容 
Amazon API 接 口 。 


3. 开 源 的 软件 基础 结构 Eucalyptus 


Eucalyptus (Elastic Utility Computing Architecture for Linking Your Programs To Useful Systems) 是 一 种 开源 的 软 
件 基础 结构 ， 用 来 通过 计算 集群 或 工作 站 群 实现 弹性 的 、 实 用 的 云 计算 。 其 最 初 是 美国 加 利 福 尼 亚 大 学 计算 机 科学 学 院 的 一 个 研 
究 项 目 ， 目 前 已 经 商业 化 ， 发 展 成 为 Eucalyptus Systems Inc。Eucalyptus Systems 公 司 还 在 基于 开源 的 Eucalyptus 构 建 额外 
的 产品 并 提供 支持 服务 。 


Eucalyptus 并 非 一 个 完全 开源 的 项 目 ， 其 中 涉及 商业 版 本 的 利益 ， 使 Fucalyptus Systems 公 司 并 没有 开源 底层 的 高 性 能 模 
块 的 源 代码 。 


4. 虚 拟 机 组 件 VMware vCloud Suite 


VMware vCloud suite 可 与 多 个 VMware 组 件 结合 使 用 ， 在 一 个 软件 包 中 提供 一 系列 全 面 的 云 基础 架构 功能 ， 包 括 虚 拟 
化 、 软 件 定义 的 数据 中 心服 务 、 基 于 策略 的 配置 、 灾 难 恢复 、 应 用 程序 管理 和 操作 管理 。 


VMware vCloud Suite 功 能 包括 : 智能 运 维 、 开 发 运 维 、 自 动 化 IT、laas 服 务 ， 是 云 管理 解决 方案 中 最 常见 的 服务 。 智 能 
运 维 提供 精简 的 、 自 动 化 的 数据 中 心 运 维 服务 。 自 动 化 IT、1laaS 和 开发 运 维 则 提供 应 用 程序 和 基础 架构 服务 。 


VMware vSphere 使 用 虚拟 化 技术 将 单个 数据 中 心 转换 为 包括 CPU、 存 储 和 网 络 资源 的 聚合 计算 基础 架构 。VMware 
vSphere 将 这 些 基 础 架构 作为 统一 的 运行 环境 来 管理 ， 并 提供 数据 中 心 的 管理 工具 。VMware vSphere 的 两 个 核心 组 件 是 ESXi 和 
vCenter Server。ESXi 虚 拟 化 平台 用 于 创建 和 运行 虚拟 机 及 虚拟 设备 。vCenter Server 服 务 用 于 管理 网 络 和 资源 池 ， 管 理 主机 资 
源 中 连接 的 多 个 主机 。 


对 比 开源 的 两 种 云 解 决 方案 ， 如 表 8.1 所 示 。 


表 8.1 CloudStack 与 OpenStack 的 对 比 


CloudStack OpenStack 


Apache 2.0 授 权 协 议 ， 可 人 免费 用 于 商 | Apache 2.0 授 权 协 议 ， 可 免费 用 于 商 
业 模 式 业 模 式 

KVM、XEN、Oracle VM、 vSphere 和 | KVM、XEN，( 有 限 文 持 Hyper-V、 
Bare Metal ESX、 PowerVM) 

支持 的 Networking Model | OpenFlow、VLAN 和 Flat networks VLAN、 Flat、 Flat DHCP 


NFS、~ Cluster LVM、 Rados Block | iSCSI、 Ceph、 NFS、 Local Storage 和 
Device (Ceph) 和 Local Storage Swift 《对象 存储 ) 


安 户 群 不 到 60 家 ， 包 括 诺基亚 、Zynga、 日 | 160 家 左右 , 包括 NASA、Rackspace、 
l 本 电报 电话 公司 、 塔 塔 ， 阿 尔 卡特 ”| 惠普 、 红 帽 、Piston 
开发 语言 Java 为 主 Python 为 主 


Openstack 的 特点 是 定义 好 了 各 个 组 件 的 接口 。 当 用 户 需要 一 个 整体 的 云 计 算 服务 时 ， 可 以 自己 选择 各 个 组 件 ， 然 后 自己 
组 装 ， 自 己 做 各 个 组 件 之 间 的 配合 、 性 能 的 优化 等 。 总 之 ，Openstack 提 供 了 各 种 组 件 ， 可 以 任意 组 合 搭配 ， 一 切 都 取决 于 开 
发 者 的 技术 水 平 。 所 以 使 用 OpenStack 必 须 有 一 个 强大 的 技术 团队 做 支撑 。 想 要 较 好 地 使 用 OpenStack， 至 少 需 要 干 万 元 的 资 
金 投入 ， 团 队 人 数 至 少 需 20 人 。 由 此 可 见 ，OpenStack 的 技术 门槛 较 高 。 这 也 是 Ustack 等 OpenStack 的 相关 公司 的 价值 所 在 。 


授权 License 


支持 的 Hypervisors 


文 持 的 Storage 


Cloudstack 就 好 像 是 一 部 已 经 组 装 并 调试 好 的 车 ， 你 可 以 直接 开 走 ， 也 可 以 自己 动手 换个 喜欢 的 轮胎 ， 或 者 在 汽车 外 部 做 
些 喜 欢 的 喷绘 。 总 之 ， 最 复杂 的 工作 社区 已 经 帮 你 做 好 了 ， 你 只 需要 学 会 如 何 使 用 即 可 ， 并 且 Cloudstack 的 学 习 成 本 和 开发 成 
本 均 较 低 。 


CloudStack 最 大 的 优势 在 于 Apache 基 金 会 的 管理 ， 这 是 保证 CloudStack 能 持续 有 生命 力 的 关键 。Apache 基 金 会 的 管理 
中 ， 很 重要 的 一 点 是 社区 高 于 代码 。Apache 基 金 会 关注 社区 的 建设 ， 项 目 本 身 的 代码 质量 会 因为 社区 的 繁荣 得 到 改善 ， 社 区 也 
是 项 目 有 生命 力 的 关键 。 


OpenStack 的 商家 有 惠普 、IBM、RedHat、Novell、Oracle、 华 为 、VMWare 等 ， 这 些 公司 无 一 均 有 极 强 的 研发 能 力 。 
Openstack 现 在 已 是 IT 巨头 们 博弈 的 场所 ， 而 小 公司 是 无 法 驾驭 这 样 的 系统 的 。 中 小 企业 如 果 选 择 了 Openstack， 就 会 陷入 一 
个 怪圈 : 好 容易 把 各 个 模块 调试 稳定 了 ， 但 社区 的 版 本 升级 了 。 此 时 是 升级 ， 还 是 不 升级 。 升 级 ， 就 比较 尴 界 了 。 如 果 升 级 版 
本 ， 那 么 所 有 的 调试 工作 需要 重 做 ， 如 果 不 升 级 版 本 ， 就 会 逐渐 远离 社区 的 版 本 ， 变 成 一 个 自己 维护 的 “孤儿 ”版 本 ， 其 代价 是 
极其 高 昂 的 。 


8.3 ”开源 私有 云 解决 方案 之 OpenStack 

OpenStack 云 平台 完全 基于 开源 软件 ， 并 得 到 了 全 球 用 户 和 厂商 生态 系统 的 大 力 支 持 。 该 云 平 台 于 2010 年 推出 ， 随 后 快速 
完善 ， 现 已 用 于 诸多 环境 的 生产 云 部 署 中 。OpenStack 既 是 一 个 社区 ， 也 是 一 个 项 目 和 一 个 开源 软件 ， 它 提供 了 一 个 部 署 云 计 
算 的 操作 平台 或 工具 集 。 其 宗旨 是 组 织 、 运 行 基于 虚拟 计算 或 存储 服务 的 云 。 其 为 公有 云 、 私 有 云 ， 混 合 云 提供 可 扩展 的 、 灵 活 


的 云 计 算 能 力 。 


8.3.1 OpenStack 概 述 


OpenStack 是 面向 laas 服 务 的 ， 即 基础 架构 云 平 台 。 该 平台 由 虚拟 机 实例 、 虚 拟 存储 块 、 虚 拟 网 段 等 虚拟 化 云 服 务 基础 架 
构 的 组 件 构成 ， 如 图 8.1 所 示 。 而 每 种 服务 组 件 都 有 相应 的 OpenStack 云 平台 的 管理 模块 进行 管理 、 调 度 和 分 配 。 


您 的 应 用 
三 | 一 
OpenStack 
OpenStack* 仪 表 板 云 操作 系统 


AR 
OpenStack 共 享 服务 


兼容 多 种 管理 程序 (KVM*、Xen*、ESX*、Hyper-V*) 


图 8-1 OpenStack 架构 


OpenStack 覆 盖 了 网 络 、 虚 拟 化 、 操 作 系 统 、 服 务 器 等 各 个 方面 。 它 是 一 个 正在 开发 中 的 云 计 算 平 台 项 目 ， 根 据 成 熟 及 重 
要 程度 的 不 同 ， 被 分 解 成 核心 项 目 、 孵 化 项 目 ， 支 持 项 目 和 相关 项 目 。 每 个 项 目 都 有 自己 的 委员 会 和 项 目 技术 主管 ， 而 且 每 个 项 
目 都 不 是 一 成 不 变 的 ， 孵 化 项 目 可 以 根据 发 展 的 成 熟 度 和 重要 性 ， 转 变 为 核心 项 目 。 下 面 列 出 了 几 个 核心 项 目 〈( 即 Openstack 
服务 ) 。 


1. 认 证 模块 dentify (Keystone) 


Keystone 模 块 为 OpenStack 其 他 几 个 模块 提供 认证 服务 ， 整 个 Keystone 其 实 就 是 在 数据 库 中 建立 用 户 (User) 、 角 色 
(Role) 、Tenant、 服 务 (Service) 、Endpoint 及 其 相互 对 应 关系 。Tenant 在 之 前 的 版 本 中 叫做 Project， 是 一 个 独立 的 资源 
容器 。 每 个 Tenant 都 可 以 定义 独立 的 VLAN、Volumes、lnstances、Mages、Keys 和 Users 等 。 服 务 指 的 是 OpenStack 所 提供 
的 几 种 服务 (Network、Volume、lImage、ldentify、Compute 和 Swift) 。Endpoint 是 指 各 服务 的 内 部 、 外 部 及 管理 接口 址 
(REST API) 。Keystone 模 块 可 以 看 做 是 云 系 统 的 安全 部 门 。 


2. 计 算 模块 Compute (Nova) 


Nova 模 块 是 OpenStack 的 核心 模块 之 一 ， 在 OpenStack 的 初期 版 本 里 大 部 分 的 云 系 统管 理 功 能 都 是 由 该 模块 负责 管理 的 。 
之 后 为 了 减轻 Nova 模 块 的 压力 ， 便 于 功能 分 配 管理 ， 把 虚拟 存储 、 网 络 部 分 分 离 了 出 来 ， 使 Nova 模 块 主要 负责 云 虚拟 机 或 实例 
(Compute、Instance) 的 生成 、 监 测 、 终 止 等 管理 功能 。 


Nova 模 块 由 nova-compute 模 块 通过 libvirt、XenAPI 等 管理 Hypervisor， 从 而 管理 虚 机 。Nova 模 块 还 通过 nova-api 服 务 
向 外 提供 与 EC2 兼 容 的 管控 功能 接口 ， 通 过 nova-scheduler 模 块 提供 虚 机 调用 逻辑 。 这 些 模 块 间 的 通信 全 部 通过 消息 队列 完 
成 。 

3. 镜 像 模块 Image (Glance) 


Glance 模 块 提供 云 虚拟 机 上 的 服务 镜像 (Image) 功能 ， 该 模块 类 似 车 间 里 的 模具 生产 部 门 ， 最 基本 的 使 用 方式 就 是 为 云 


虚拟 机 实例 提供 安装 操作 系统 的 模式 ， 如 RedHat Linux、Ubuntu 和 Windows 等 。 云 服务 使 用 者 通过 已 经 生成 和 个 性 化 安装 后 
的 云 虚拟 机 实例 来 生成 自 定义 的 镜像 。 以 后 就 可 以 根据 自 定义 镜像 直接 生成 所 需 的 虚拟 机 实例 。 


4. 虚 拟 网 络 服务 模块 Network (Neutron) 


Neutron 模 块 提供 OpenStack 虚 拟 网 络 服务 ， 也 是 OpenStack 重 要 的 核心 模块 之 一 。 该 模块 之 所 以 重要 是 因为 如 果 没 有 虚 
拟 网 络 服务 ，OpenStack 就 变 为 单纯 提供 虚拟 机 实例 和 虚拟 存储 服务 的 平台 ， 这 就 违背 了 提供 分 布 式 虚拟 服务 的 云 计算 核心 价 
值 。Neutron 模 块 不 仅 提 供 基本 的 创建 子 网 、 路 由 ， 为 虚拟 机 实例 分 配 IP 地 址 功能 ， 还 支持 


. 多 种 物理 网 络 类 型 ， 支 持 Linux Bridge、Hyper-V 和 OVS bridge; 
. 支持 防火 墙 服务 ; 

. 支持 虚拟 网 络 中 节点 间 的 VPN 服 务 ; 

“ 实现 SDN。 

在 Openstack 的 网 络 管理 流程 中 ， 创 建 和 删除 网 络 通常 需要 经 过 以 下 几 个 步骤 : 
(1) 创建 一 个 网 络 。 

(2) 创建 一 个 子 网 。 

(3) 启动 一 个 虚拟 机 ， 将 一 块 网 卡 对 接 到 指定 的 网 络 上 。 

(4) 删除 虚拟 机 。 

(5) 删除 网 络 端口 。 

(6) 删除 网 络 。 


* Block Storage (Cindet) : 提供 OpenStack 存 储 块 (Volume) 服务 ，Cindet 是 云 存储 服务 的 调度 监控 模块 ， 需 要 与 如 NFS、 
Ceph 等 网 络 文件 系统 配合 使 用 。 


* Dashboard (Horizon) : 为 OpenStack 提 供 交 互 式 界面 的 UI 组 件 。 


* Object Storage (Swift) : 对 象 存储 ， 存 储 的 是 一 些 资 源 文件 ， 如 图 片 、 代 码 等 文件 。 对 象 存 储 服务 是 OpenStack 最 早期 的 


两 个 服务 之 一 ( 另 一 个 是 计算 服务 Nova) 。 


以 上 是 OpenStack 的 基本 组 件 ， 通 过 这 些 组 件 就 可 以 搭建 一 套 基本 的 云 计算 服务 平台 。 如 果 再 加 入 用 于 OpenStack 系 统 资 
源 监控 的 Ceilometer、 云 系统 部 署 用 的 Heat， 以 及 大 数据 部 署 的 Sahara， 该 云 计 算 平台 则 会 更 加 完善 。 


8.3.2 ”OpenStack 架 构 


OpenStack 云 系统 的 概念 图 如 图 8.2 所 示 ， 该 图 展示 了 OpenStack 云 系统 上 各 模块 是 如 何 协 同 工 作 的 流程 ， 这 使 我 们 学 习 
Openstack 各 组 件 的 逻辑 概念 有 了 指导 作用 。 之 后 我 们 通过 各 组 件 的 逻辑 概念 再 逐步 深入 研究 OpensStack 的 逻辑 架构 。 
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图 8-2 ”OpenStack 概 念 图 


在 制定 好 的 云 系统 平台 上 ， 用 户 在 经 KeyStone 模 块 授权 后 (Provide Auth) 


， 通 过 Horizon 或 RestAPI 模 式 创 建 虚 拟 机 服 
务 。 创 建 过 程 包括 利用 Nova 模 块 创 建 虚 拟 机 实例 (VM Provision) 


， 该 VM 采 用 了 Glance 模 块 提供 的 镜像 服务 (Provide 
Image) ， 然 后 用 Neutron 模 块 为 新 建 的 VM 分 配 IP 地 址 ， 把 其 纳入 虚拟 网 络 中 (Provide network connectivity) ， 之 后 再 通 


过 Cinder 模 块 创 建 的 Volume 为 VM 挂 载 存储 块 。 整 个 过 程 都 在 Cellometer 模 块 的 资源 监控 下 (Monitors) ，Cinder 产 生 的 
Volume 和 Glance 提 供 的 Image 可 以 通过 Swift 的 对 象 存 储 机 制 进行 保存 。 


通过 以 上 解析 可 以 得 出 OpenStack 云 平台 服务 的 提供 ， 主 要 是 依靠 Nova、Glance、Cinder 和 Neutron 这 4 个 核心 模块 完成 
的 ， 其 他 4 个 辅助 模块 Horizon、Cellometer、Keystone 和 Swift， 提 供 访问 、 监 控 、 权 限 和 对 象 存储 功能 


8.4 ”开源 私有 云 解 决 方案 之 二 一 一 CloudStack 


2008 年 ， 深 胜 博 士 创立 了 VMOps 公 司 ， 后 更 名 为 Cloud.com， 员 工 以 华人 居多 。 当 时 亚马逊 公有 云 服务 在 美国 已 经 成 熟 并 
大 量 商 用 ， 基 于 对 云 计算 市 场 的 预期 ， 梁 胜 博士 决定 进入 云 计算 领域 ， 于 是 成 立 了 VMOps。 


2010 年 年 初 ，VMOps 的 初始 版 本 已 基本 成 型 。 同 年 5 月 ，VMOps 更 名 为 Cloud.com， 其 开发 的 云 管 理 平台 CloudStack 已 
经 是 2.0 版 本 ， 并 积累 了 一 些 商 业 应 用 案例 。CloudStack 最 初 分 为 社区 版 和 企业 版 。 社 区 版 采用 GPLv3 许 可 ; 与 社区 版 相 比 ， 企 
业 版 保留 了 5% 左 右 的 私有 代码 。 


当 Cloudstack2.2 版 本 在 2011 年 初 发 布 时 ， 正 值 云 计算 在 国外 迅猛 发 展 的 时 期 ，Cloud.com 在 短 短 的 4 个 月 中 与 非常 多 的 重 
量 级 用 户 签署 了 合作 协议 ， 比 较 著 名 的 公司 有 韩国 电信 、Zynga、TATA、 北 海道 大 学 等 。 这 时 ，Cloudstack 能 够 管理 的 
Hypervisor 包 括 XenServer、VMware、KVM、OVM 甚 至 裸 机 。 


正 是 由 于 Cloudstack 已 经 积累 了 相当 多 的 企业 应 用 案例 ， 并 以 其 成 熟 的 商业 应 用 、 良 好 的 管理 及 扩展 功能 为 大 家 所 熟知 ， 
因此 最 终 被 HP 和 Citrix 两 家 公司 况 购 。2011 年 7 月 ，Cloud.com 被 Citrix 公 司 收 购 。 Citrix 公 司 收购 Cloud.com 后 ， 维 持 了 其 团队 
的 完整 性 ， 并 继续 开发 CloudStack。CloudStack3.0 就 是 在 被 Citrix 公 司 收购 之 后 开发 的 。2012 年 4 月 ，Citrix 公 司 宣布 将 
CloudStack 捐 献 给 Apache 软 件 基金 会 ， 且 完全 采用 Apache2.0 许 可 。 


8.4.1 CloudStack 系 统 架 构 


CloudStack 经 典 的 分 层 式 结构 是 : 客户 端 、 核 心 引 擎 及 资源 层 。 它 面向 各 类 型 的 客户 提供 了 不 同 的 访问 方式 : Web 
Console、Command Shell 和 Web Service API。 通 过 这 些 访问 方式 ， 用 户 可 以 管理 使 用 在 其 底层 的 计算 资源 (又 分 为 主机 、 
网 络 和 存储 ) ， 并 能 够 完成 在 主机 上 分 配 虚 拟 机 ， 分 配 虚 拟 磁 盘 等 功能 。 如 图 8.3 所 示 为 CloudStack 系 统 架 构图 。 


虚拟 机 如 果 使 用 Xen 和 KVM， 需 要 安装 CloudStack Agent 来 支持 其 与 管理 服务 器 的 交互 。 管 理 服务 器 和 Xen Server 交 互 则 
是 靠 XAPI， 和 vCenter、ESX 交 互 靠 HTTP。 


当 部 署 CloudStack 建 立 云 时 ， 需 要 了 解 它 的 层次 结构 和 存储 管理 ， 如 图 8.4 所 示 。 
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图 8-4 ”CloudStack 结 构 的 层次 
: Zone: 对 应 于 现实 中 的 一 个 数据 中 心 ， 它 是 CloudStack 中 最 大 的 一 个 单元 。 
* Pod: 对 应 着 一 个 机 架 。 同 一 个 Pod 中 的 计算 机 在 同一 个 子 网 (网 段 ) 中 。 


Cluster: 是 多 个 主机 组 成 的 一 个 集群 。 同 一 个 Clustet 中 的 主机 有 相同 的 硬件 、 相 同 的 Hypervisor 并 共用 同样 的 存储 。 同 一 个 
Clustet 中 的 虚拟 机 ， 可 以 实现 无 中 断 地 从 一 个 主机 迁移 到 另外 一 个 主机 上 。 


" Host: 就 是 运行 虚拟 机 (VM) 的 主机 。 从 包含 关系 上 来 说 ， 一 个 Zone 可 包含 多 个 Pod， 一 个 Pod 包 含 多 个 Cluster， 一 个 


Cluster 包 含 多 个 Host。 
: CloudStack 中 存在 两 种 存储 : 


- Primaty storage; 一 级 存储 与 Clustet 关 联 ， 它 为 该 Clustetr 中 主机 的 全 部 虚拟 机 提供 磁盘 卷 。 一 个 Cluster 至 少 有 一 个 一 级 存 
储 ， 且 在 部 署 时 位 置 要 临近 主机 以 提供 高 性 能 。 


* Secondary storage: 二 级 存储 与 Zone 关联 ， 它 存储 模板 文件 ，ISO 镜 像 和 磁盘 卷 快 照 。 
如 果 想 要 提供 云 服 务 ， 以 下 5 点 是 一 定 要 满足 的 。 
. 支持 多 租户 。 


` 能 够 按 需 提 供 自 服务 。 


将 所 有 资源 池 化 。 
能 够 快速 进行 弹性 增 减 。 


CloudStack 的 设计 目标 是 云 计算 更 加 易于 使 用 和 开发 ; 它 允 许 拥 有 不 同 技 能 的 开发 人 员工 作 在 CloudStack 的 不 同 功 能 模块 
之 上 ; 它 要 给 运营 人 员 提 供 选 择 CloudStack 的 一 部 分 功能 来 实现 自己 所 需 的 机 制 ; 它 要 支持 使 用 除 Java 之 外 的 其 他 语言 来 编写 
功能 模块 ， 要 有 较 高 的 可 用 性 和 可 维护 性 ， 要 易于 部 署 。 


Cloudstack4.0 及 以 后 的 版 本 都 在 为 完成 上 述 目标 而 不 断 调整 ， 各 模块 更 加 轻 量化 ， 耦 合 度 逐 步 下 降 ， 功 能 架构 的 定义 越 来 
越 清晰 ， 并 且 从 之 前 的 私有 自 定 义 模块 转向 用 户 熟 知 的 框架 (如 Spring、RabbitMQ 等 ) ， 能 够 更 好 地 组 合资 源 以 便 与 第 三 方 设 
备 集成 。 


Cloudstack 开 源 项 目 设 计 的 初衷 就 是 提供 1aas 的 服务 模型 ， 建 成 一 个 硬件 设备 及 虚拟 化 管理 的 统一 平台 ， 将 计算 资源 、 存 
储 资 源 、 网 络 资源 进行 整合 ， 形 成 一 个 资源 池 ， 通 过 管理 平台 进行 统一 管理 ， 弹 性 增 减 硬件 设备 。 根 据 云 环境 中 的 5 点 要 
求 ，Cloudstack 进 行 了 功能 上 的 设计 和 优化 ， 为 了 适应 云 的 多 租户 模式 ， 设 计 了 用 户 的 分 级 权限 管理 机 制 ， 通 过 各 种 技术 手段 
保证 用 户 数据 的 安全 ， 保 护 用 户 的 隐私 。 


用 户 可 以 直接 通过 浏览 器 访问 数据 中 心 的 云 平台 ， 在 一 定 权限 下 自由 使 用 自己 的 资源 ， 实 现 自 服务 模式 。 在 多 租户 环境 下 ， 
用 户 使 用 资源 的 计量 计 费 功能 也 是 必 不 可 少 的 ，CloudStack 会 通过 多 种 手段 尽 可 能 地 记录 用 户 使 用 的 所 有 资源 的 情况 ， 并 将 其 
保存 下 来 ， 以 供 计 费时 使 用 。 对 于 云 系 统管 理 员 来 说 ， 绝 大 部 分 管理 工作 通过 浏览 器 就 可 以 完成 。CloudStack 提 供 了 资源 池 化 
管理 、 高 可 靠 性 等 功能 ， 使 云 系统 管理 员 尽 可 能 地 将 管理 工作 简化 和 自动 化 ， 减 少 切换 界面 的 次 数 。Cloudstack 既 可 以 直接 对 
用 户 提供 虚拟 机 租用 服务 ， 也 开放 了 API 接 口 为 Paas 层 提供 服务 ， 所 以 就 有 了 一 个 简化 的 概念 图 ， 如 图 8.5 所 示 。 
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图 8-5 ”CloudStack 简 化 的 系统 概念 图 


通过 图 8.5 可 以 看 出 ， 最 终 用 户 只 要 在 CloudStack 的 平台 上 直接 开通 和 使 用 虚拟 机 权限 就 可 以 了 ， 无 须 关 注 底层 硬件 设备 是 
如 何 被 设计 和 使 用 的 ， 也 不 用 关心 自己 使 用 的 虚拟 机 到 | 底 在 哪个 计算 服务 器 或 哪个 存储 上 。 


下 面 来 看 一 下 CloudStack 系 统 向 下 管理 这 一 层 。CloudStack 的 管理 是 比较 全 面 的 且 尽 可 能 地 兼容 各 种 计算 设备 ， 可 以 管理 
多 种 Hypervisor 虚 拟 化 程序 ， 包 括 XenServer、VMware、KVM、OracleVM 和 裸 设备 等 ， 如 图 8.6 所 示 。 
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图 8-6 ”CloudStack 的 虚拟 机 监视 器 


凡是 虚拟 化 程序 支持 的 计算 服务 器 ，Cloudstack 也 可 以 正常 支持 ， 这 样 Cloudstack 就 具有 了 非常 广泛 的 兼容 性 。 


CloudStack 可 以 使 用 的 存储 类 型 非常 广泛 。 虚 拟 机 所 使 用 的 主 存储 可 以 使 用 计算 服务 器 的 本 地 磁盘 ， 也 可 以 挂 载 iSCSI、 光 
纤 、NFS 等 存储 介质 ;存放 1SO 镜 像 及 模板 文件 的 二 级 存储 可 以 选择 使 用 NFS， 或 者 Openstack 的 Swift 组 件 ， 如 图 8.7 所 示 。 
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图 8-7 CloudStack 的 存储 资源 


Cloudstack 除 了 支持 各 种 网 络 连接 方式 外 ， 其 自身 也 提供 了 多 种 网 络 服务 ， 不 需要 硬件 设备 就 可 以 实现 网 络 隔离 、 防 火 
墙 、 负 载 均衡 和 VPN 等 功能 ， 如 图 8.8 所 示 。 
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图 8-8 ”CloudStack 的 网 络 服务 功能 


Cloudstack 支 持 多 租户 的 特点 。 多 租户 是 云 计算 架构 的 一 个 基本 特点 ， 支 持 多 租户 是 一 个 laaS 云 管理 平台 应 该 具备 的 基本 
条 件 之 一 。 从 图 8.5 中 可 以 看 到 ，CloudStack 支 持 不 同 的 组 织 和 个 人 在 同一 平台 上 申请 和 使 用 资源 。CloudStack 也 必须 通过 一 
定 的 规则 和 技术 手段 保证 资源 使 用 的 限制 和 通畅 。 用 户 组 可 以 平 级 创建 扩展 ， 也 可 以 在 用 户 组 下 建立 子 用 户 组 。 理 论 上 ， 无 论 是 
横向 扩展 还 是 纵向 扩展 ， 都 没有 限制 ， 都 可 以 无 限 扩展 下 去 。 特 定 的 资源 可 以 直接 分 配给 用 户 组 使 用 ， 用 户 组 内 的 用 户 可 以 共享 
该 资源 。 另 外 ，CloudStack 还 有 一 个 “项 目 ” (Project) 功能 ， 即 不 同 用 户 组 下 的 用 户 ， 以 项 目 为 前 提 共 享 一 个 资源 集合 ( 包 
括 物 理 资源 及 网 络 ) 。 


8.4.2 ”CloudStack 设 备 层次 
从 物理 设备 相互 连接 的 角度 看 ，Cloudstack 的 结构 其 实 很 简单 ， 可 以 抽象 地 理解 为 : 一 个 CloudStack 管 理 节点 或 集群 ， 管 


理 多 个 可 以 提供 虚拟 化 计算 能 力 的 服务 器 ， 服 务 器 使 用 内 置 磁盘 或 外 接 存储 ， 如 图 8.9 所 示 。 了 解 虚拟 化 的 读者 会 很 容易 理解 这 
个 抽象 的 架构 ， 尤 其 是 计算 服务 器 和 存储 ， 是 传统 虚拟 化 技术 中 必须 使 用 的 结构 。 
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图 8-9 ”CloudStack 的 结构 


但 这 样 肯定 是 不 够 的 ， 作 为 管理 节点 不 可 能 这 么 简单 地 对 所 有 服务 器 统一 管理 。 这 样 的 架构 太 过 单一 ， 除 了 一 些 应 用 场景 
外 ， 不 能 适应 大 部 分 灵活 、 复 杂 、 多 变 的 云 环 境 。 在 云 环境 里 ， 网 络 的 设计 方式 干 变 万 化 ， 一 个 云 管理 平台 必须 有 很 好 的 适用 性 
和 通用 性 、 异 构 的 兼容 性 和 灵活 的 可 扩展 能 力 。 


登录 CloudStack 的 Web 界 面 ， 在 区 域 的 管理 界面 内 可 以 找到 如 图 8.10 所 示 的 架构 图 。 通 过 图 8.10， 我 们 可 以 很 好 地 理解 
Cloudstack 各 部 件 之 间 的 关系 ， 其 中 Zone、Pod、Cluster 属 于 逻辑 概念 ， 既 可 以 对 照 实际 环境 进行 理解 ， 也 可 以 根据 需求 灵活 


配置 使 用 。 
1.Zone 数 据 中 心 


Zone 可 以 理解 为 一 个 数据 中 心 或 机 房 ， 是 Cloudstack 系 统 中 逻辑 光 围 最 大 的 组 织 单元 ， 由 一 组 Pod、 二 级 存储 
(Secondary storage) 及 网 络 架构 组 成 。 在 完成 管理 服务 器 的 安装 后 ， 登 录 Cloudstack 的 管理 界面 ， 第 一 步 就 是 创建 Zone， 
完成 整个 laas 平 台 的 初步 整合 。 创 建 Zone 的 步骤 包括 网 络 架 构 的 选择 、 网 络 的 各 种 规划 和 配置 、 添 加 计算 服务 器 和 人 存储。 对 管 
理 员 来 说 ， 创 建 Zone 的 时 候 会 设置 该 Zone 的 所 有 重要 参数 ， 所 以 必须 要 对 整个 Zone 进行 合理 的 规划 ， 使 Zone 的 架构 可 以 满足 
目前 的 使 用 需求 ， 并 适应 未 来 的 扩展 需求 。 在 完成 创建 Zone 的 步骤 后 ， 随 着 需求 的 变化 ， 还 可 以 继续 添加 Pod、 集 群 、 计 算 服 
务 器 和 人 存储。 在 一 个 Zone 内 ，Pod 的 数量 是 没有 限制 的 。 


数据 中 心 


图 8-10 ”CloudStack 的 架构 图 


在 一 个 CloudStack 系 统 中 可 以 添加 多 个 Zone，Zone 之 间 可 以 完全 实现 物理 隔离 ， 硬 件 资 源 、 网 络 配 置 、 虚 拟 机 也 都 是 独 
立 的 。 在 建立 一 个 Zone 的 时 候 ， 只 能 选择 一 种 网 络 架构 ， 或 是 基本 网 络 (Basic Zone) ， 或 是 高 级 网 络 (Advanced Zone) 。 


如 果 系 统 中 有 多 个 Zone， 每 个 Zone 还 可 以 使 用 不 同 的 网 络 架构 。 根 据 这 一 特点 ， 就 可 以 实现 CloudStack 对 多 个 物理 机 房 ( 数 
据 中 心 ) 的 统一 管理 。 从 业务 需求 上 来 说 ， 也 可 以 在 一 个 机 房 内 划分 出 两 个 独立 的 Zone， 以 供需 要 完全 隔离 的 两 个 系统 使 用 。 
由 于 Zone 之 间 是 相互 独立 的 ， 所 以 如 果 要 进行 通信 ， 只 能 在 网 络 设备 上 配置 打通 Zone 的 公共 网 络 。Zone 之 间 只 能 复制 ISO 和 模 
板 文 件 ， 虚 拟 机 不 能 进行 Zone 之 间 的 迁移 操作 ， 如 果 需 要 进行 这 些 操作 ， 应 将 虚拟 机 转换 为 模板 ， 然 后 复制 到 另 一 个 Zone 中 使 
用 。 


另外 ，Zone 对 用 户 是 可 见 的， 管理 员 创建 Zone 的 时 候 ， 可 以 配置 该 Zone 是 对 所 有 用 户 可 见 的 公共 Zone， 或 者 是 只 对 某 组 
用 户 可 见 的 私有 Zone。 如 果 一 个 用 户 能 够 看 到 多 个 Zone， 在 创建 虚拟 机 时 就 可 以 选择 在 某 个 Zone 中 创建 虚拟 机 。 


2.Pod 机 架 


Pod 是 Cloudstack 区 域内 的 第 二 级 逻辑 组 织 单 元 ，Pod 可 以 理解 为 一 个 物理 机 架 ， 包 含 交换 机 、 服 务 器 和 存储 。 所 以 ， 参 
照 物 理 机 架 的 概念 ， 在 CloudStack 的 Pod 中 也 有 网络 边界 的 概念 ， 即 所 有 Pod 内 的 计算 服务 器 、 系 统 虚 拟 机 都 在 同一 个 子 网 
中 。 一 般 来 说 ，Pod 上 的 服务 器 连接 在 同一 个 或 一 组 二 层 (Layer2) 交换 机 上 ， 所 以 在 很 多 实际 部 署 中 基本 也 都 是 以 一 个 物理 机 
架 来 进行 规划 的 。 一 个 Zone 内 可 以 有 多 个 独立 的 Pod， 提 供 点 的 数量 没有 上 限 。 一 个 Pod 可 以 由 一 个 或 多 个 集群 构成 ， 一 个 
Pod 中 的 集群 数量 也 没有 上 限 。 为 了 实现 网 络 的 灵活 扩展 ，Pod 是 CloudStack 不 可 或 缺 的 一 个 层级 。 另 外 ，Pod (机 架 ) 对 最 终 
用 户 而 言 是 不 可 见 的 。 


3.Cluster 集 群 


Cluster 集 群 是 CloudStack 系 统 中 最 小 的 逻辑 组 织 单元 ， 由 一 组 计算 服务 器 及 一 个 或 多 个 主 存储 组 成 。 同 一 个 集群 内 的 计算 
服务 器 必须 使 用 相同 的 Hypervisor 虚 拟 化 管理 程序 ， 硬 件 型 号 也 必须 相同 ( 带 有 高 级 功能 的 XenServer 和 vSphere 可 以 兼容 异 构 
的 CPU) 。Pod 内 的 集群 之 间 使 用 任何 计算 服务 器 、Hypervisor 程 序 。 


4.Host 计 算 服 务 器 


Host 计 算 服务 器 是 Cloudstack 中 最 基本 的 硬件 模块 之 一 ， 用 于 提供 虚拟 化 能 力 和 计算 资源 ， 运 行 用 户 创建 的 虚拟 机 ， 可 以 
根据 系统 压力 的 变化 进行 弹性 增 减 。 计 算 服务 器 上 需要 安装 Hypervisor 程 序 ， 用 以 支持 虚拟 化 技术 的 实现 和 功能 。 


计算 服务 器 具有 以 下 特点 。 

: 提供 虚拟 机 需要 的 所 有 CPU、 内 存 、 存 储 和 网 络 资源 。 

“ 互相 通过 高 速 网 络 互联 互通 ， 并 与 因特网 连接 。 

. 可 以 位 于 不 同 地 理 位 置 的 不 同 数 据 中 心 。 

. 可 以 具有 不 同 的 规格 (如 不 同 的 CPU 速度 、 内 存 大 小 等 ) 。 


高 性 能 通用 x86 兼 容 服务 器 ， 自 身 相 对 可 靠 ， 但 规模 较 大 时 会 出 现 个 别 服务 器 故障 的 情况 。CloudSstack 可 以 兼容 大 多 数 硬 件 
设备 ， 其 实 就 是 指 所 使 用 的 绝 大 多 数 硬件 能 够 被 Hypervisor 程 序 兼 容 。 在 安装 Hypervisor 程 序 之 前 ， 需 要 确定 该 服务 器 所 使 用 的 
CPU 能 够 支持 虚拟 化 技术 ， 并 在 BIOS 系 统 中 打开 CPU 对 虚拟 化 技术 的 支持 功能 。 如 果 想 知道 服务 器 上 的 所 有 硬件 是 否 刁 
Hypervisor 程 序 兼容 ， 可 以 查询 Citrix 和 VMware 等 官方 网 站 。 


5. 主 存储 


主 存储 (Primary Storage) 一 般 作 为 每 个 集群 中 多 台 计算 服务 器 共同 使 用 的 共享 存储 存在 。 一 个 集群 中 可 以 有 一 个 或 者 多 
个 不 同类 型 的 存储 ， 主 存储 用 于 存储 所 有 虚拟 机 内 数据 的 镜像 文件 和 数据 卷 文件 。 主 存储 分 为 两 种 ， 分 别 是 共享 存储 和 本 地 存 


储 。 


共享 存储 一 般 是 指 独立 的 集中 存储 设备 ， 它 允许 对 所 属 集群 中 的 所 有 计算 节点 进行 访问 ， 集 中 存储 该 集群 内 所 有 虚拟 机 的 数 
据 。 使 用 共享 存储 可 以 实现 虚拟 机 的 在 线 迁移 (Live Migrate) 和 高 可 用 性 (High Available) ， 通 过 专业 的 存储 设备 或 技术 ， 
可 以 保证 较 高 的 数据 安全 性 ， 但 相应 地 会 牺牲 一 定 的 读 写 性 能 。 


本 地 人 存储 是 指使 用 计算 节点 服务 器 内 置 的 磁盘 ， 人 存储 虚拟 机 的 运行 数据 文件 ， 可 以 使 虚拟 机 磁盘 拥有 很 高 的 读 写 性 能 ， 但 无 
法 解决 因 主 机 或 磁盘 故障 导致 的 虚拟 机 无 法 启动 或 数据 丢失 等 严重 问题 。 


6. 二 级 存储 


二 级 存储 (Secondary Storage) 又 称 辅助 存储 ， 是 CloudStack 根 据 laaS 平 台 的 架构 和 使 用 特点 专门 划分 出 来 的 一 种 存 
储 。 二 级 存储 可 以 支持 NFS 存 储 和 OpenStack 的 组 件 Swift 存 储 。 每 个 Zone 只 需要 一 个 二 级 存储 ， 用 于 存放 创建 虚拟 机 所 使 用 的 
ISO 镜 像 文件 、 模 板 文 件 ， 以 及 对 虚拟 机 所 做 的 快照 及 卷 备 份 文件 。 


为 什么 要 单独 设计 一 种 存储 呢 ? 我 们 可 以 再 分 析 一 下 刚刚 提 到 的 这 几 种 类 型 的 特点 。 


系统 所 用 的 ISO 文 件 ， 动 辆 都 是 数 吉 字 节 (GB) ; 而 模板 内 除了 操作 系统 文件 外 ， 还 包含 一 


“ 占用 很 大 的 空间 : 安装 操 人 
吉 是 很 常见 的 ; 快照 文件 大 小 不 一 ， 但 数量 可 能 很 多 。 


作 
些 应 用 程序 和 数据 ， 十 几 吉 字 节 也 


. 读 写 频 率 很 低 : 基本 是 一 次 性 写 入 后 只 有 读 取 操 作 ， 使 用 也 不 频繁 ， 与 最 终 用 户 使 用 虚拟 机 数据 卷 文件 的 频率 相 比 ， 读 写 
频率 几乎 可 以 忽略 不 计 ， 以 使 虚拟 机 磁盘 拥有 很 高 的 读 写 性 能 ， 但 无 法 解决 因 主 机 或 磁盘 故障 导致 的 虚拟 机 无 法 启动 或 数据 丢失 
等 严重 问题 。 


8.4.3 ”CloudStack 管 理 平台 


CloudStack 管 理 平台 将 这 些 组 件 进行 统一 管理 ， 并 使 它们 相互 合作 。 


管理 服务 节点 (Management Server) 是 CloudStack 云 管理 平台 的 核心 ， 整 个 laaS 平 台 的 工作 统一 汇总 在 管理 服务 节点 
中 处 理 。 管 理 服务 节点 接收 用 户 和 管理 员 的 操作 ， 包 括 对 硬件 、 虚 拟 机 和 网 络 的 全 面 管理 操作 。 管 理 服务 节点 会 对 收 到 的 操作 请 
求 进行 处 理 ， 并 将 其 发 送 给 对 应 的 计算 节点 或 系统 虚拟 机 去 执行 。 管 理 服务 节点 还 会 在 MySQL 数 据 库 中 记录 整个 CloudStack 系 
统 的 所 有 信息 ， 并 监控 计算 节点 、 存 储 及 虚拟 机 的 状态 ， 以 及 网 络 资源 的 使 用 情况 ， 从 而 帮助 用 户 和 管理 员 了 解 目前 整个 系统 各 


个 部 分 的 运行 情况 。 


CloudStack 管 理 程序 是 用 Java 语 言 编写 的 。 前 端 界面 是 用 JavaScript 语 言 编写 的 ， 做 成 了 Web App 的 形式 ， 通 过 Tomcat 
容器 对 外 发 布 。 在 安装 CloudSstack 管 理 程序 的 时 候 ， 会 自动 安装 和 配置 Tomcat 的 相关 人 参数， 这样 可 以 省 去 用 户 手工 配置 和 发 布 
Web 页 面 的 相关 操作 。 当 安装 完 CloudSstack 程 序 后 ， 剩 下 的 所 有 管理 工作 就 是 直接 打开 浏览 器 ， 访 问 CloudStack 管 理 程序 的 页 
面 ， 在 Web 图 形 化 页 面 上 进行 输入 管理 操作 。 后 台 程序 的 逻辑 功能 及 数据 结构 通过 Web 页 面 展现 ， 用 户 对 后 台 程 序 的 操作 都 在 
Web 页 面 上 进行 。 其 简单 的 访问 和 操作 方式 ， 使 用 户 不 需要 再 安装 任何 程序 ， 这 也 是 近年 来 互联 网 和 云 计算 领域 比较 流行 的 一 
种 思想 一 一 网 站 即 软件 。 


由 于 Cloudstack 采 用 集中 式 管理 架构 ， 所 有 的 模块 都 封装 在 管理 节点 的 程序 中 ， 便 于 安装 和 管理 ， 安 装 的 时 候 使 用 几 条 命 
令 就 可 以 完成 管理 程序 的 安装 ， 所 以 在 节点 上 只 需要 分 别 安装 管理 服务 程序 、MySQL 数 据 库 和 Usage 服 务 程序 (可 选 ) 即 可 。 


. 管理 服务 程序 : 基于 Java 语 言 编写 ， 包 括 Tomcat 服 务 、API 服 务 、 管 理 整个 系统 工作 流程 的 Servet 服 务 、 管 理 各 类 


Hypetvisot 的 核心 服务 等 组 件 。 
. MySQL 数 据 库 : 记录 CloudStack 系 统 中 的 所 有 信息 。 


.Usage 服务 程序 : 主要 用 于 记录 用 户 使 用 各 种 资源 的 情况 ， 为 计 费 提供 数据 ， 所 以 当 不 需要 计 费 功能 时 可 以 不 安装 此 程 


在 小 规模 的 使 用 环境 中 ， 可 以 将 以 上 所 有 组 件 集中 安装 在 一 台 物 理 服务 器 或 虚拟 机 上 。 在 一 个 计划 上 线 的 云 计算 环境 中 ， 根 
据 设计 需求 ， 可 以 部 署 多 台 管 理 服务 器 来 分 担 不 同 的 功能 ， 举 例如 下 ， 如 图 8.11 所 示 。 


用 户 门户 请 求 


管理 员 门 户 请 求 


图 8-11 管理 平台 的 服务 器 集群 


(1) 安装 多 个 管理 服务 程序 并 使 其 成 为 一 个 集群 ， 在 前 端 使 用 负载 均衡 设备 ， 可 以 负载 大 量 的 Web 访 问 或 API 请 求 。 


(2) 将 MySQL 数 据 库 安装 在 独立 的 服务 器 中 ， 并 搭建 主 从 方式 (Master-slave) 的 MySQL 数 据 库 (作为 一 种 备份 方 


凋 


(3) 将 Usage 服 务 程序 安装 在 独立 服务 器 上 ， 用 于 分 担 管理 服务 器 的 压力 。 


CloudStack 在 设计 中 还 有 一 个 优点 ， 就 是 管理 服务 器 本 身 并 不 记录 CloudStack 的 系统 数据 信息 ， 而 是 全 部 存储 在 数据 库 
中 。 所 以 ， 当 管理 服务 程序 停止 或 所 在 节点 宕 机 时 ， 所 有 的 计算 节点 、 存 储 及 网 络 功能 会 在 维持 现状 的 情况 下 正常 运行 ， 只 是 无 
法 接收 新 的 请 求 ， 用 户 所 使 用 的 虚拟 机 仍然 可 以 在 计算 服务 器 上 保持 正常 的 通信 和 运行 。 


CloudStack 管 理 程序 的 停止 并 不 影响 平台 的 工作 ， 但 数据 库 就 不 一 样 了 。MySQL 数 据 库 中 所 记录 的 数据 是 整个 云 平台 的 全 
部 数据 ， 包 括 整 个 云 平台 的 规划 、 物 理 设 备 、 虚 拟 机 、 存 储 文件 、IP 使 用 信息 等 ， 因 此 在 使 用 过 程 中 一 定 要 注意 保护 数据 库 。 不 
得 不 说 ，CloudStack 在 这 方面 的 设计 并 不 完善 ， 到 CloudStack4.0.2 版 本 为 止 ，CloudStack 管 理 程序 或 集群 只 能 连接 单一 的 数 
据 库 ， 解 决 方法 是 为 此 数据 库 搭建 一 个 实时 同步 的 从 属 数据 库 。 如 果 主 数据 库 出 现 故 障 ， 只 要 手工 进行 切换 ， 在 做 好 MySQL 数 
据 库 备份 的 情况 下 ， 恢 复 整 个 系统 的 正常 运行 还 是 可 以 实现 的 。 所 以 ， 保 护 好 数据 库 中 的 数据 、 维 持 数据 库 的 稳定 运行 是 非常 重 
要 的 。 


8.4.4 ”CloudStack 工 作 流 程 


从 网 络 通信 和 | 数据 交换 的 角度 分 析 CloudStack 管 理工 作 流 程 ， 如 图 8.12 所 示 。 


从 图 8.12 的 左边 可 以 看 到 ， 用 户 通过 界面 登录 ， 前 端 界面 与 后 端 管理 程序 的 交互 使 用 了 目前 最 流行 、 最 通用 的 做 法 ， 完 全 调 
用 RESTful 风 格 的 APl 来 实现 。 用 户 所 使 用 的 Web 界 面 上 的 任意 功能 都 由 Web 转 义 为 API 命 令 发 送 给 API 服 务 ，API 服 务 接收 请 求 
后 交 由 管理 服务 进行 处 理 ， 然 后 根据 不 同 的 功能 将 命令 发 送 给 计算 节点 或 系统 虚拟 机 去 执行 ， 并 在 数据 库 中 进行 记录 ， 完 成 后 将 
结果 返回 前 台 页 面 。 而 使 用 目前 最 通用 的 RESTful API 接 口 也 是 出 于 对 兼容 性 的 考虑 ， 既 可 以 使 用 CloudStack 本 身 进行 统一 管 
理 ， 也 支持 用 户 根据 需求 开发 全 新 的 界面 或 通过 其 他 平台 调用 CloudStack 的 API 来 管理 ， 通 用 性 强 ， 在 对 编程 语言 的 支持 上 也 没 
有 任何 障碍 。 由 Cloudstack Usage 程 序 所 统计 的 监控 数据 可 以 通过 API 进 行 调用 ， 为 计量 计 费 提供 了 很 好 的 支持 。 如 果 用 户 使 
用 亚马逊 的 EC2 接 口 管 理 在 亚马逊 云 上 的 虚拟 机 ， 就 可 以 使 用 相同 的 EC2API 命 令 来 管理 CloudStack 平 台 。 
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图 8-12 CloudStack 后 人 台 管 理 与 前 端 客 户 逻 辑 拓扑 关系 


Cloudstack 管 理 服务 和 物理 基础 设施 ， 最 简单 、 最 直接 的 办 法 就 是 调用 设备 所 开放 的 API 命 令 ， 如 Xenserver 的 XAPI、 
vCenter 的 AP1; 而 对 不 方便 直接 调用 API 的 设备 (如 KVM) ， 会 采取 安装 代理 程序 (Agent) 的 方式 协助 进行 管理 。 在 
Cloudstack 中 有 很 多 网 络 功能 ， 在 旧版 本 中 只 能 由 系统 虚拟 机 实现 ， 新 版 本 的 改进 对 用 户 的 自 服 务 有 很 大 的 帮助 。 系 统 虚 拟 机 
毕竟 只 是 一 个 虚拟 的 机 器 ， 就 算 提高 资源 配置 ， 其 性 能 也 是 有 限 的 ， 如 果 遇 到 对 网 络 要 求 较 高 的 情况 就 会 出 现 瓶 英 。 从 
Cloudstack4.0 开 始 ， 支 持 使 用 其 他 物理 设备 扩展 网 络 功能 来 代 蔡 虚拟 路 由 器 的 对 应 功能 ， 既 保持 了 Cloudstack 的 原 有 架构 ， 
又 提升 了 性 能 以 满足 应 用 需求 。 如 图 8.12 所 示 ， 包 括 Juniper 的 SRX 防 火 墙 、Citrx 的 Netscaler 设 备 、F5 的 负载 均衡 设备 ， 都 是 
调用 这 些 设备 上 开发 出 来 的 特有 API 来 进行 控制 的 。 如 果 未 来 需要 扩展 其 他 可 支持 的 设备 ， 也 会 选择 这 两 种 方法 之 一 来 实现 。 


CloudStack 只 对 这 3 种 设备 的 某 些 型 号 提供 支持 ， 并 没有 全 面 提供 支持 ， 毕 竟 实 现 全 面 支持 需要 做 很 多 工作 并 考虑 兼容 性 。 
但 作为 开源 平台 ， 在 开放 出 这 样 的 接口 之 后 ， 相 信 会 有 很 多 第 三 方 企业 来 一 起 协助 开发 支持 接口 。 


仔细 观察 图 8.12 发 现 ， 图 中 没有 画 出 管理 节点 连接 到 存储 设备 的 线 。 其 实 ，CloudStack 并 不 是 直接 对 存储 设备 进行 管理 。 
在 CloudStack 架 构 中 ， 存 储 有 两 种 角色 ， 它 们 分 别提 供 不 同 的 功能 。 


主 存 储 通过 调用 计算 节点 所 使 用 的 Hypervisor 程 序 进行 管理 ， 如 在 存储 上 创建 磁盘 或 执行 快照 功能 等 ， 其 实 都 是 通过 调用 
Hypervisor 程 序 的 APl 来 进行 的 。 这 样 做 的 优点 是 ， 这 些 Hypervisor 程 序 能 支持 什么 类 型 的 存储 ，CloudStack 就 能 直接 配置 和 使 


用 ， 不 需要 再 进行 更 多 的 兼容 性 开发 。 其 缺点 是 ， 最 新 的 存储 技术 (如 分 布 式 存储 或 对 象 存储 等 ) 就 没有 办 法 在 XenServer 和 
vSphere 上 得 到 支持 了 。 昌 然 使 用 KVM 在 理论 上 可 以 兼容 各 种 新 的 分 布 式 存储 ， 但 效果 是 否 能 够 满足 虚拟 化 去 计算 的 需要 ， 还 


需 测 定 。 


二 级 存储 是 一 个 独立 存在 的 设备 ， 它 不 在 某 一 个 计算 节点 或 集群 的 管理 下 ， 在 CloudStack 的 架构 中 就 有 二 级 存储 虚拟 机 挂 
载 二 级 存储 进行 管理 的 设计 。 


系统 虚拟 机 是 整个 CloudStack 架 构 中 重要 的 组 成 部 分 ， 承 担 很 多 重要 的 功能 。CloudStack 的 系统 虚拟 机 有 3 种 ， 分 别 是 二 
级 存储 虚拟 机 (Secondary Storage VM) 、 控 制 台 代理 虚拟 机 (Console Proxy VM) 、 虚 拟 路 由 器 (Virtual Router 
VM) 。 


系统 虚拟 机 有 特别 制作 的 模板 ， 使 用 的 操作 系统 是 Debian6.0， 只 安装 了 必 备 的 程序 用 以 减 小 系统 虚拟 机 所 消耗 的 资源 ， 安 
装 较 新 的 补丁 以 防止 可 能 存在 的 漏洞 ， 针 对 不 同 的 Hypervisor 有 不 同 的 模板 文件 ， 安 装 支持 Hypervisor 的 驱动 和 支持 工具 来 提高 
运行 性 能 。CloudStack 使 用 同一 个 模板 来 创建 系统 虚拟 机 ， 它 会 根据 不 同 角色 的 系统 虚拟 机 进行 特殊 配置 ， 当 系统 虚拟 机 创建 
完成 后 ， 每 种 系统 虚拟 机 会 安装 不 同 的 程序 ， 使 用 不 同 的 配置 信息 。 


Cloudstack 为 了 保证 系统 的 正常 运行 ， 所 有 的 系统 虚拟 机 都 是 无 状态 的 ， 不 会 独立 保存 系统 中 的 数据 ， 所 有 相关 信息 都 保 
存在 数据 库 中 ， 系 统 虚 拟 机 内 存储 的 临时 数据 也 都 是 从 数据 库 中 读 取 的 ， 方 便 系统 虚拟 机 的 运行 及 任务 的 执行 。 所 有 的 系统 虚拟 
机 都 带 有 高 可 用 性 (HA) 的 功能 。 当 Cloudstack 管 理 节点 检测 到 系统 虚拟 机 出 现 问题 时 ， 将 自动 重启 或 重建 系统 虚拟 机 (系统 
会 通过 数据 库 中 记录 的 配置 信息 进行 重建 ) 。 管 理 员 也 可 以 随时 手动 删除 系统 虚拟 机 ， 然 后 由 系统 自动 重建 ( 除 虚拟 路 由 器 
外 ) ， 无 须 担心 删除 系统 虚拟 机 会 造成 数据 丢失 或 功能 错误 。 系 统 虚拟 机 对 普通 用 户 而 言 是 透明 、 不 可 直接 管理 的 ， 只 有 系统 管 
理 员 可 以 检查 及 访问 系统 虚拟 机 。 


二 级 存储 虚拟 机 (Secondary storage VM) 用 于 管理 二 级 人 存储， 每 个 机 房 (Zone) 内 有 一 个 二 级 存储 虚拟 机 。 二 级 存储 
虚拟 机 通过 存储 网 络 连接 和 挂 载 二 级 存储 ， 直 接 对 其 进行 读 写 操作 ， 如 果 不 配置 存储 网 络 ， 则 使 用 管理 网 络 进行 连接 。 通 过 公共 
网 络 实现 ISO 和 模板 文件 的 上 传 和 下 载 、 用 户 虚 拟 机 的 卷 下 载 、 将 用 户 虚 拟 机 的 快照 存放 在 二 级 存储 上 、 多 区 域 (Zone) 之 间 
ISO 和 模板 文件 的 复制 等 重要 功能 。 可 以 配置 SSL 加 密 访问 ， 以 达到 保护 用 户 数据 的 目的 。 


控制 台 代 理 虚拟 机 (Console Proxy VM) 支持 用 户 使 用 浏览 器 在 Cloudstack 的 Web 界 面 上 打开 虚拟 机 的 图 形 界面 。 每 个 
区 域内 默认 生成 一 个 控制 台 代理 虚拟 机 。 当 Cloudstack 平 台 上 有 较 多 用 户 打开 虚拟 机 的 Web 界 面 时 ， 系 统 会 自动 建立 多 个 控制 
台 代 理 虚拟 机 ， 用 以 承担 大 量 的 访问 进程 ， 对 应 的 配置 可 以 在 全 局 变量 中 找到 。 访 问 控制 台 默 认 使 用 域名 realhostip.com 进 行 访 
问 ，DNS 会 将 该 域名 解析 为 控制 台 代理 虚拟 机 的 公共 网 络 地 址 。 可 以 配置 SSsL 加 密 访问 ， 以 达到 保护 用 户 数据 的 目的 。 用 户 虚 拟 
机 的 图 像 通过 管理 网 络 从 所 在 的 主机 获取 ， 而 不 必 关 心 用 户 虚 拟 机 的 网 络 架构 ， 这 样 便 实 现 了 代理 的 目的 。 


虚拟 路 由 器 (Virtual Router) 可 以 为 用 户 提供 虚拟 机 所 使 用 的 多 种 功能 ， 它 在 用 户 第 一 次 创建 虚拟 机 时 自动 创建 。 在 基本 
网 络 里 只 有 DHCP 和 DNS 转发 的 功能 ， 在 高 级 网 络 里 除了 DHCP 和 DNS 转发 的 功能 外 ， 还 可 以 实现 类 似 防火 墙 的 功能 ， 包 括 网 络 
地 址 转换 (Network Address Translation，NAT) 、 端 口 转发 (Port Forwarding) 、 虚 拟 专 用 网 络 (Virtual Private 
Network，VPN) 、 负 载 均衡 (Load Balance) 、 网 络 流量 监控 ， 以 保证 用 户 虚拟 机 在 隔离 网 络 中 与 外 界 通信 的 安全 。 


8.5 ”私有 云 服务 规划 与 选 型 


私有 云 包括 企业 私有 云 和 家 庭 私有 云 。 二 者 的 规模 和 功能 不 完全 相同 ， 设 计 流程 有 其 共性 的 部 分 。 下 面 抽 取 私 有 云 设 计 的 一 


般 规 律 进行 简要 阐述 ， 作 为 私有 云 服 务工 程 师 的 设计 参照 。 


8.5.1 ”企业 私有 云 的 设计 与 规划 流程 


在 建立 私有 云 的 过 程 中 ， 设 计 和 规划 流程 如 图 8.13 所 示 。 


私有 云 选 型 


开发 测试 阶段 


私有 云 部 时 


图 8-13 ”私有 云 设计 流程 


1. 第 一 步 ， 需 求 分 析 


产品 经 理 和 企业 架构 师 及 系统 需求 分 析 师 共同 分 析 企业 的 具体 需求 ， 落 实 对 私有 云 的 硬件 和 功能 需求 ; 根据 企业 的 具体 情况 
进行 分 析 ， 得 到 企业 对 云 服 务 的 特殊 要 求 。 服 务 建 模 人 员 通 过 功能 建 模 技 术 来 定义 服务 接口 。 


2. 第 二 步 ， 私 有 云 选 型 


根据 需求 分 析 ， 选 择 特定 的 硬件 及 软件 来 部 署 私 有 云 应 用 。 私 有 云 是 使 用 OpenStack、VMware 还 是 CloudStack? 在 私有 
云 实现 领 域 ，OpenStack 和 和 VMware、CloudStack 都 是 主流 的 选择 。OpenStack 及 CloudStack 根 植 于 云 ， 因 此 很 难 和 
VMware 的 技术 进行 比较 ， 后 者 起 始 于 数据 中 心 的 虚拟 化 套件 ， 但 是 很 多 大 公司 都 支持 Openstack。 另 一 方面 ， VMware 及 
Cloudstack 更 完善 ， 能 够 达到 更 好 的 质量 标准 。 部 署 OpenSstack 则 需要 很 陡峭 的 企业 学 习 曲 线 。 从 费用 角度 来 看 ，OpenStack 
需要 高 额 的 支持 费用 ， 而 VMware 需要 购买 许可 证 。 作 为 两 大 主流 开源 云 平 台 ，Openstack 和 Cloudstack 各 有 具 优 势 。 
CloudStack 安 装 和 部 署 都 很 方便 ，OpenStack 框 架 相 对 开放 灵活 ， 可 以 根据 用 户 需求 方便 地 进行 开发 定制 。 


那么 操作 系统 选择 CentOS 还 是 Ubuntu 呢 ? 


无 论 OpenStack 还 是 CloudStack 都 工作 在 Linux 平 台 上 。OpenStack 社 区 对 Ubuntu 系 统 的 支持 比较 完善 ， 因 为 Ubuntu 更 
新 速度 快 ， 内 核 版 本 比较 新 ， 可 以 支持 更 高 版 本 的 KYM， 对 OpenStack 使 用 者 来 说 ，Ubuntu 可 以 提供 更 好 的 性 能 。 


3. 第 三 步 ， 私 有 云 开发 测试 阶段 


设置 好 硬件 服务 器 ， 安 装 私 有 云 系统 后 ， 软 件 工程 师 就 可 以 根据 企业 需求 对 私有 云 系 统 进行 应 用 层面 的 软件 开发 了 。 无 论 使 
用 Openstack 还 是 Cloudstack 等 开源 云 计算 系统 ， 软 件 开发 都 是 成 本 较 高 、 时 间 较 长 的 一 个 非常 的 复杂 的 过 程 。 


4. 第 四 步 ， 私 有 云 部 署 阶段 


私有 云 部 署 阶段 ， 由 业务 人 员 和 软件 开发 人 员 在 一 起 调试 私有 云 系统 。 


8.5.2 家庭 私 有 云 的 建立 


家 庭 私 有 云 是 家 庭 云 存储 NAS (Network Attached storage， 网 络 附属 存储 ) 而 不 是 传统 意义 上 的 云 计算 。 一 般 是 指使 用 
PC 或 嵌入 式 的 微型 服务 器 ， 为 单个 家 庭 提 供 NAS 服 务 。 这 种 私有 云 存 储 服务 既 保障 了 家 庭 信 息 的 安全 性 又 具有 云 计算 的 便捷 
性 ， 因 此 成 为 流行 趋势 。 


在 搭建 家 庭 私有 云 系统 时 ， 可 选择 成 熟 的 家 庭 NAs 一 体 机 产品 。 例 如 ， 丁 部 数据 NAS、 威 联通 QNAP 等 品牌 都 有 成 熟 的 产 
品 。 该 类 产品 一 般 运 行 在 Linux 系 统 上 ， 使 用 开源 或 者 二 次 开发 过 的 私有 云 软件 ， 为 单个 家 庭 提供 NAS 网 络 存 储 服务 。 


当前 ， 已 经 有 许多 的 云 计 算 提供 商 开 始 为 家 庭 用 户 提供 商业 化 的 私有 云 服务 。 该 类 型 的 私有 云 服务 一 般 是 运行 在 基于 大 型 服 
务 器 的 虚拟 机 内 的 云 服务 。 这 种 方式 节省 了 普通 用 户 的 硬件 和 软件 维护 成 本 ， 但 也 失去 了 一 定 的 私密 性 和 方便 性 。 


当然 也 可 使 用 FreeNAS 或 Openfiler 等 免费 系统 来 搭建 家 庭 NAS 系 统 。 


FreeNAS 是 开源 的 NAS 服 务 器 ， 它 可 以 将 一 台 普 通 PC 变 成 网 络 存 储 服 务 器 。 该 软件 基于 FreeBSD、Samba 及 PHP， 通 过 浏 
览 器 方便 地 进行 配置 与 管理 ,支持 CIFS、NFS、HTTP/DAV 和 和 FTP 功能， 含有 多 种 软 RAID 模 式 供用 户 选 择 。 用 户 可 通过 
Windows、Macs、FTP、SSH 及 网 络 文件 系统 (NFS) 来 访问 存储 服务 器 ; FreeNAS 可 安装 于 硬盘 或 移动 介质 上 ， 占 用 较 小 的 
磁盘 空间 。 


8.6 ”私有 云 是 物 联网 的 存在 形态 之 一 


大 量 的 物 联网 设备 会 产生 大 量 的 数据 ， 大 量 的 数据 存储 到 云端 ， 并 在 云端 进行 计算 、 分 析 、 学 习 ， 从 而 产生 认 知 分 析 结 果 或 
者 说 智能 分 析 结果 。 该 结果 又 能 反馈 到 物 联 网 设备 终端 ， 如 由 传感器 检测 室内 环境 ， 自 动 调节 温度 、 湿 度 ， 自 动 通风 等 ， 整 个 过 
程 不 需要 人 为 参与 。 


在 这 个 过 程 中 ， 物 联网 、 大 数据 、 云 计算 、 人 工 智 能 等 都 在 其 中 相互 作用 ， 缺 一 不 可 。 云 计算 是 为 了 解决 大 数据 下 的 实际 运 
算 问 题 ， 大 数据 挖掘 是 为 了 解决 海量 数据 分 析 问 题 ， 而 物 联网 是 解决 数据 采集 传输 的 问题 。 


Amazon Web Services (AWS) 是 亚马逊 公司 提供 的 云 计算 服务 ， 它 提供 了 一 套 云 计算 和 物 联网 解决 方案 。AWSs loT 解 决 
方案 是 一 个 全 托管 的 云 平台 ,使 互联 设备 可 以 轻松 、 安 全 地 与 云 应 用 程序 及 其 他 设备 交互 。AWS loT 可 支持 数 十 亿 台 设备 和 数 
万 亿 条 消息 ， 并 且 可 以 对 这 些 消息 进行 处 理 ， 然 后 通过 路 由 将 其 安全 可 靠 地 传送 至 AWS 终 端 节点 和 其 他 设备 上 。AWS loT 平 台 
支持 设备 连接 到 AWS 服 务 ， 保 证 数据 和 交互 的 安全 ， 人 处理 设 备 数据 并 对 其 执行 操作 ， 支 持 应 用 程序 与 设备 进行 交互 (即使 该 设 
备 处 于 离线 状态 ) 。 


物 联网 (loT) 是 云 计算 领域 的 “下 一 个 大 事件 ”。 物 联网 意味 着 设备 联网 ， 甚 至 比 云 计算 服务 更 加 具体 。 物 联网 以 增加 机 
器 间 的 通信 为 中 心 ， 它 建立 在 数据 采集 传感器 网 络 和 连接 到 云 计算 服务 执行 器 的 基础 上 。 可 以 使 用 开源 项 目 ， 扩 展 云 服 务 ， 进 而 
创建 通用 的 物 联网 平台 . 


物 联网 平台 对 多 种 使 用 情况 来 说 都 是 普遍 可 用 的 ， 如 同 智能 工厂 、 工 业 4.0 应 用 程序 。 物 联网 架构 使 用 的 是 开源 项 目 ， 如 
OpenStack、CloudStack、Kubernetes、Docker、OpenContrail 等 。 


物 联 网 平台 基于 已 存在 的 开源 解决 方案 ,平台 包括 OpenStack、CloudStack、Kubernetes、Docker 和 OpenContrail 等 。 


物 联网 网 天 CPU 是 x86/64 架 构 或 ARM 架 构 。 传 感 器 用 来 采集 环境 数据 (如 温度 、 湿 度 、 二 氧化 碳水 平 ) 。IQRF 网 络 是 一 个 
操作 Sub-Gigahertz ISM band 的 强大 无 线 网 格 技术 ， 能 够 很 容易 地 与 传感器 整合 。 


IQRF 协 调 员 通 过 物 联 网 网 关 处 理 从 传感器 传 来 的 数据 。 物 联网 网 关 可 以 是 任意 的 x86/64 或 者 ARM 架 构 ， 基 于 Docker、 
Kubernetes、OpenContrail vRouter 和 Debian 构 建 镜 像 ， 运 行 系统 。 网 关 可 通过 任意 网 络 连 接 (GSM / LTE / WiFi) ， 因 为 
SDN 在 Docker Service 和 数据 中 心 之 间 创 建 了 动态 L3VPN。 


数据 中 心包 括 了 OpenStack 和 Kubernetes 控 制 面板 ， 这 两 个 解决 方法 都 使 用 OpenContrail 作 为 单个 SDN (软件 定义 网 
络 ) ， 这 就 可 以 从 中 心 点 管理 整个 平台 。 用 户 在 本 地 可 以 远程 开启 任意 Docker 容 器 ， 然 后 创建 动态 连接 到 OpenStack 上 的 
Service。OpenStack 云 容器 数据 存储 大 数据 进程 Services。 所 有 数据 在 网 络 端口 已 经 被 虚拟 化 ， 而 且 可 以 通过 REST APl 


Service 访 问 。 


8.7 本章 小 结 


本 章 介 绍 了 私有 云 解决 方案 OpenStack 和 CloudStack 的 结构 、 原 理 、 工 作 流 程 、 开 发 难度 ， 最 后 还 讲解 了 家 庭 私 有 云 、 企 
业 私有 云 的 建设 流程 。 


8.8 习题 


1. 简 述 云 计算 和 私有 云 的 概念 。 

2. 规 划 私 有 云 的 规划 流程 。 

3. 简 述 OpenStack 和 CloudStack 的 区 别 。 
4. 简 述 OpenStack 的 几 大 核心 项 目的 功能 。 


5. 区 分 私有 云 和 物 联 网 的 层次 关系 。 


第 9 章 “ 雾 计算 


雾 计算 已 经 从 学 术 概 念 ， 逐 步 发 展 到 了 应 用 于 工程 实践 、 产 业 布局 和 产品 设计 等 不 同方 向 。 雾 计算 的 产生 是 物 联 网 发 展 在 逐 
步 走向 成 熟 的 过 程 中 ， 对 云 计 算 的 改善 、 补 充 和 提高 ， 是 科学 技术 发 展 的 必然 结果 。 


9.1“ 雾 计算 起 源 


雾 计算 的 概念 由 思科 公司 提出 ， 国 内 外 产业 界 迅 速 跟 进 。 学 术 界 梳理 了 雾 计算 技术 的 概念 ， 并 完善 了 其 工程 架构 的 支撑 体 


9.1.1 ”从 物 联网 说 起 


智慧 城市 、 智 慧 家 庭 、 智 慧 校 园 和 智慧 医疗 ， 种 种 物 联 网 应 用 极 大 地 方便 了 人 们 的 生活 。 目 前 市 场 上 智能 终端 设备 的 智能 程 
度 普遍 令 人 不 满意 。 计 算 机 智能 的 基础 就 在 于 其 背后 的 资源 ， 如 CPU 计算 资源 、 硬 盘存 储 资 源 、 网 络 带 宽 通信 资源 ， 以 及 视 
频 、 温 度 、 光 线 强 度 等 传感器 提供 的 数据 资源 和 电力 资源 等 。 在 这 些 资源 中 最 核心 的 就 是 计算 资源 ， 通 过 计算 提取 数据 中 的 知 
识 ， 作 出 决策 。 通 过 存储 来 保存 知识 库 ， 从 而 根据 历史 经 验 作出 准确 预测 。 通 过 通信 完成 设备 间 的 沟通 ， 实 现 知 识 与 决策 的 分 
发 。 


那么 设备 的 不 够 智能 ， 问 题 出 在 哪里 呢 ? 


9.1.2” 终 辣 的 计算 资源 、 存 储 资源 的 不 足 


开发 者 不 可 能 把 基站 安装 在 每 部 手机 上 ， 同 样 也 不 可 能 使 每 台 终端 设备 都 拥有 大 量 资源 ， 这 将 大 幅度 提高 终端 设备 的 成 本 ， 
无 法 形成 有 效 的 解决 方案 。 


当 资 源 不 足 时 ， 一 个 直观 的 想法 是 将 计算 任务 交 给 其 他 计算 能 力 强 的 设备 。 物 联网 中 有 大 量 的 终端 设备 ， 它 们 无 法 在 本 地 完 
成 计算 ， 作 出 决策 ， 那 么 应 该 由 谁 来 解决 终端 设备 的 资源 不 足 问题 呢 ? 云 计 算 就 是 解决 这 些 问题 的 有 效 方法 。 


9.1.3 ” 云 计算 的 通信 资源 不 足 


云 计 算 平 台 为 云 用 户 提供 数据 中 心中 的 资源 。 云 计算 向 人 们 展示 了 它 的 优越 性 ， 主 要 表现 在 以 下 几 点 : 
“无 限 ”的 资源 池 ; 

" 大 量 用 户 共 享 资 源 池 带 来 的 廉价 资源 ; 

随时 随地 用 任何 网 络 设备 访问 ; 

“快速 ”重新 部 署 ， 弹 性 的 资源 租用 ; 

. 按 需 购买 ， 自 助 服务 。 


服务 提供 商 把 特定 服务 部 署 在 云 中 ， 终 端 设备 将 信息 发 送 到 云端 ， 云 端 完成 运算 后 将 结果 发 回 给 终端 ， 并 将 必要 数据 在 云端 
存储。 通过 这 种 形式 ， 云 端 充分 补足 了 终端 设备 的 计算 能 力 和 存储 资源 的 匮乏 ， 成 为 物 联 网 生态 系统 中 不 可 缺少 的 一 环 。 


为 了 服务 位 于 不 同 地 理 位 置 的 用 户 ， 在 互联 网 的 多 层次 结构 中 ， 数 据 中 心 位 于 核心 网 络 一 出。 核心 网 络 距离 终端 用 户 较 远 ， 
用 户 消息 需要 经 过 若干 跳 才能 够 到 达 。 如 图 9.1 所 示 为 简化 的 网 络 拓扑 示意 图 。 


图 9-1 ” 物 联网 拓扑 示意 图 


. 高 延迟 : 离 用 户 较 远 的 终端 ， 会 导致 较 高 的 网 络 延迟 ， 对 实时 性 要 求 较 高 的 应 用 难以 部 署 在 云 中 。 


* 网 络 拥塞 : 根据 思科 的 预测 ， 到 2020 年 ， 全 球 将 有 500 亿 智能 设备 。 如 果 大 量 的 物 联网 应 用 部 署 在 云 中 ， 将 会 有 数量 庞大 


的 传感器 时 刻 不 断 地 通过 核心 网 络 把 原始 数据 发 送 到 数据 中 心 ， 使 核心 网 络 拥 塞 。 


* 较 低 可 靠 性 : 安全 、 生 命 相关 的 物 联 网 应 用 ， 一 旦 遇 到 应 用 失效 ， 数 据 中 心 失效 ， 或 从 终端 用 户 到 云 平 台 的 任何 一 段 网 络 
失效 ， 都 将 带 来 重大 的 安全 隐患 。 从 终端 到 云端 的 通信 通路 较 长 ， 失 效 风险 较 大 ; 而 在 云 中 部 署 服务 备份 的 成 本 也 较 高 。 


综 上 所 述 ， 对 实时 性 、 大 数据 、 可 靠 性 要 求 高 的 应 用 ， 云 并 不 适合 。 人 们 需要 新 的 计算 模型 来 满足 未 来 的 应 用 ， 弥 补 云 的 不 
足 ， 而 雾 计算 正 是 在 这 种 背景 下 被 提出 来 的 。 


雾 计算 为 终端 设备 提供 了 收集 数据 、 管 理 数据 的 方法 。 不 是 在 云端 或 遥远 的 数据 中 心 ， 而 是 在 较 近 的 地 区 。 在 雾 计算 模式 之 
下 ， 传 感 器 及 其 他 终端 设备 将 数据 发 送 至 一 个 附近 的 边缘 计算 设备 上 ， 该 设备 可 能 是 具有 存储 能 力 和 计算 能 力 的 交换 机 或 路 由 
器 ， 用 来 处 理 数据 、 分 析 数 据 、 提 供 计算 服务 。 


当 互 联网 连接 不 可 靠 时， 依赖 远程 数据 中 心 的 智能 处 理 也 成 为 不 可 信赖 的 。 问 题 的 症结 是 云 计算 的 通信 资源 不 足 。 而 雾 计 算 
是 不 依赖 处 于 中 心 位 置 的 远程 服务 器 的 。 雳 计算 可 以 弥补 云 计 算 的 不 足 ， 解 决 云 计算 人 存在 的 一 些 问题 。 


与 云 计算 相 比 ， 雾 计算 主要 依赖 的 不 是 位 于 中 心 位 置 的 远程 服务 器 ， 而 是 使 用 离 本 地 设备 较 近 的 分 布 式 计算 机 资源 。 雾 计算 
的 数据 采集 、 数 据 处 理 和 应 用 程序 依赖 本 地 设备 ， 而 非 数据 中 心 ， 是 将 云端 的 边界 靠近 本 地 设备 ， 连 接 到 物 联 网 的 “边缘 ”， 而 
不 像 云 计算 那样 将 它们 几乎 全 部 保存 在 云 中 。 


所 以 ， 云 计算 是 新 一 代 的 集中 式 计算 ， 而 雾 计 算是 新 一 代 的 分 布 式 计算 ,符合 互联 网 的 “去 中 心 化 ”特征 。 


9.2.1 和 雾 计 算 的 概念 


雾 计 算 的 概念 在 2011 年 被 人 提出 ，2012 年 被 详细 定义 。 雾 计算 (Fog Computing) 是 云 计算 (Cloud Computing) 的 延 
伸 概念 ， 由 思科 公司 首创 。 这 个 因 “ 云 ”" 而 “ 雾 ” 的 命名 ， 源 自 “ 老 是 更 贴近 地 面 的 云 ” 这 一 名 句 。 


雾 计算 有 几 个 明显 特征 : 低 延 时 和 位 置 感知 ， 更 为 广泛 的 地 理 分 布 ， 适 应 移动 性 的 应 用 ， 支 持 更 多 的 边缘 节点 。 这 些 特征 使 
得 移动 业务 部 署 更 加 方便 ， 满 足 更 广泛 的 节点 接 入 。 


雾 计算 并 非 由 性 能 强大 的 服务 器 组 成 ， 而 是 由 性 能 较 弱 、 更 为 分 散 的 各 类 诸 入 式 计算 机 组 成 。 渗 入 到 工厂 、 汽 车 、 电 器 、 街 
灯 及 人 们 物质 生活 中 的 各 类 用 品 中 。 


雾 计 算 没 有 强大 的 计算 能 力 和 存储 能 力 ， 只 有 一 些 弱 的 计算 能 力 及 零散 的 存储 设备 。 雾 计算 是 介 于 云 计算 和 个 人 计算 之 间 的 
半 虚 拟 化 的 服务 架构 计算 模型 。 雾 计算 是 以 个 人 服务 、 私 有 服务 和 企业 服务 为 主 。 云 计算 是 以 IT 运营 商 提供 服务 ， 社 会 公有 云 为 
主 。 雾 计算 以 量 制胜 ， 强 调 数量 ， 不 管 单个 计算 节点 的 计算 能 力 、 人 存储 能 力 多 么 弱 ， 都 要 发 挥 作 用 。 云 计算 则 强调 整体 网 络 的 通 
言 能 力 、 计 算 能 力 ， 一 般 由 一 堆 集中 的 高 性 能 计算 设备 完成 计算 。 雾 计算 扩大 了 云 计算 的 网 络 计算 模式 ， 将 网 络 计算 从 网 络 中 心 
扩展 到 了 网 络 边缘 ， 从 而 更 加 广泛 地 应 用 于 各 种 服务 。 


物 联网 发 展 的 最 终结 果 就 是 将 所 有 的 电子 设备 、 移 动 终端 和 家 用 电器 等 都 互联 起 来 ， 不 仅 数 量 巨 大 ， 而 且 分 布 广泛 。 物 联网 
的 发 展 催生 了 雾 计算 的 需求 ， 也 为 雾 计算 提供 了 发 展 机 会 。 


有 了 雾 计算 才 使 很 多 物 联 网 业务 可 以 部 署 。 以 车 联网 为 例 ， 车 联网 的 部 署 要 求 有 丰富 的 连接 方式 和 相互 作用 ， 车 到 车 ， 和 车 到 
接 入 点 ， 接 入 点 到 接 入 点 之 间 的 连接 。 雾 计算 能 够 为 车 联网 的 道路 安全 、 交 通 保 障 、 信 息 搜 索 、 视 听 娱 乐 等 提供 服务 。 例 如 ， 智 
能 交通 灯 对 移动 性 和 位 置信 息 的 计算 特别 需要 ， 计 算 量 不 大 ， 但 对 时 延 要 求 高 ， 显 然 只 有 雾 计算 最 适合 。 试 想 如 果 城 市 中 的 所 有 
交通 灯 都 需要 由 数据 中 心 云 计算 来 统一 控制 ， 那 么 不 仅 不 及 时 也 容易 出 错 。 智 能 交通 灯 本 意 是 根据 车 流量 来 自动 指挥 车 辆 通行 ， 


自行 完成 智能 交通 指挥 ， 这 就 是 雾 计算 的 威力 。 


9.2.2 ” 雾 计算 与 云 计算 的 区 别 


前 面 已 经 提 及 ， 云 计算 是 新 一 代 的 集中 式 计 算 ， 而 雾 计算 是 新 一 代 的 分 布 式 计算 ， 符 合 互联 网 的 “去 中 心 化 ”特征 。 雾 计算 
不 像 云 计算 那样 ， 要 求 使 用 者 连 上 远 端 的 大 型 数据 中 心 才能 存 取 服 务 。 除 了 架构 上 的 差异 ， 云 计算 所 能 提供 的 应 用 ， 雾 计算 基本 
都 能 提供 ， 但 是 雾 计算 所 采用 的 计算 平台 效能 可 能 不 如 大 型 数据 中 心 。 


云 计算 承载 着 业界 的 厚望 。 业 界 曾 普遍 认为 ， 未 来 计算 功能 将 完全 放 在 云端 。 然 而 ， 将 数据 从 云端 导入 、 导 出 实际 上 比 人 们 
想象 的 更 复杂 和 困难 。 由 于 接 入 设备 (尤其 是 移动 设备 ) 越 来 越 多 ， 在 传输 数据 、 获 取信 息 时 ， 网 络 带 宽 就 显得 捉襟见肘 。 随 着 
物 联网 和 移动 互联 网 的 高 速 发 展 ， 人 们 越 来 越 依赖 云 计算 ， 联 网 设备 越 来 越 多 ， 设 备 越 来 越 智能 ， 移 动 应 用 成 为 人 们 在 网 络 上 处 
理事 务 的 主要 方式 。 数 据 量 和 数据 节点 数 不 断 增加 ， 不 仅 会 占用 大 量 网 络 带宽 ， 而 且 会 加 重 数据 中 心 的 负担 ， 数 据 传 输 和 信息 获 
取 的 情况 将 越 来 越 糟 。 


因此 ， 措 配 分 布 式 的 雾 计算 ， 通 过 智能 路 由 器 等 设备 和 技术 手段 ， 在 不 同 设备 之 间 组 成 数据 传输 带 ， 可 以 有 效 地 减少 网 络 流 
量 ， 数 据 中 心 的 计算 负荷 也 相应 减轻 。 雾 计算 可 以 作为 介 于 M2M (机 器 与 机 器 ) 网 络 与 云 计 算 之 间 的 计算 单元 ， 以 应 对 物 联网 
产生 的 大 量 数 据 ， 运 用 处 理 程序 对 这 些 数据 进行 预 处 理 ， 以 提升 这 些 数据 的 使 用 价值 。 


雾 计 算 不 仅 可 以 解决 联网 设备 自动 化 的 问题 ， 更 关键 的 是 它 对 数据 传输 量 的 要 求 更 小 。 雾 计算 这 一 “促进 数据 中 心 内 部 运作 
的 技术 ”有 利于 提高 本 地 存储 与 计算 能 力 ， 消 除数 据 存储 及 数据 传输 的 瓶 责 ， 非 常 值得 期 待 。 


9.2.3 ” 雾 计算 的 实施 


现在 正在 流行 的 “ 云 计 算 ”， 是 把 大 量 数据 通过 “ 云 ”去 计算 或 存储 。 这 样 就 解决 了 计算 机 或 手机 存储 量 不 够 ， 或 运算 速度 
不 够 快 的 问题 ， 当 然 也 带 来 了 其 他 很 多 好 处 。 


所 谓 的 “ 云 ” 的 核心 ， 就 是 装 了 大 量 服务 器 和 存储 器 的 “数据 中 心 ”。 由 于 目前 的 半导体 芯片 和 其 他 配套 硬件 还 很 耗 电 ， 全 
球 数据 中 心 的 用 电功率 相当 于 30 个 核电 站 的 供电 功率 ， 而 令 人 痛心 的 是 其 中 90% 的 耗 电量 都 被 浪费 了 ， 因 为 效率 很 低 。 谷 歌 位 
于 全 球 数据 中 心 的 用 电功率 就 达到 3 亿 有 瓦特， 这 一 数字 超过 了 3 万 户 美国 家 庭 的 用 电量 。 


如 果 说 现在 用 了 大 量 电能 来 维持 的 云 计算 中 心 ， 还 能 给 广大 用 户 提 供 互联 网 云 服 务 的 话 ， 那 么 当 数 据 传输 量 进一步 成 指数 式 
增长 ， 则 这 个 云 中 心 将 无 法 再 维持 下 去 。 这 个 数据 传输 ， 指 的 是 大 量 无 线 终端 和 “ 云 ” 之 间 的 传输 。 随 着 物 联网 的 到 来 ， 各 种 家 
庭 电 器 及 大 量 传感器 ， 包 括 嵌 入 在 可 穿戴 设备 里 的 传感器 都 会 连 网 ， 从 而 产生 大 量 的 数据 。 而 大 量 数据 的 发 送 和 接收 ， 可 能 会 造 
成 数据 中 心 和 终端 之 间 的 MO (输入 输出 ) 瓶颈 ， 传 输 速 率 大 大 下 降 ， 甚 至 会 造成 很 大 的 延 时 。 


于 是 有 人 想 出 了 一 个 方法 ， 在 终端 和 数据 中 心 之 间 再 加 一 层 ， 即 网 络 边缘 层 。 例 如 ， 再 加 一 个 带 有 存储 器 的 小 服务 器 或 路 由 
器 ， 把 一 些 并 不 需要 放 到 云端 的 数据 在 这 一 层 直接 处 理 和 和 存储， 可 大 大 减少 云端 的 压力 ， 提 高 了 效率 ， 也 提升 了 传输 速率 ， 降 低 
了 延 时 。 这 个 方法 叫做 雾 计算 。 


云 漂浮 在 天 上 ， 看 得 见 却 摸 不 着 ， 而 雾 就 在 你 眼前 ， 接 地 气 。 雾 计算 所 用 的 设备 ， 就 是 具有 计算 能 力 和 存储 能 力 的 小 服务 
器 、 路 由 器 及 网 关 ， 是 处 于 大 型 数据 中 心 与 终端 用 户 之 间 的 设备 ， 可 以 放 到 小 区 、 工 三、 企业 和 家 庭 等 里 的 新 型 网 络 设备 。 


9.2.4 ”和 雾 计算 与 物 联网 


雾 计 算是 一 种 分 布 式 的 计算 模型 ， 作 为 云 数据 中 心 和 物 联网 设备 /传感器 之 间 的 中 间 层 ， 它 提供 了 计算 、 网 络 和 存储 能 力 ， 
让 基于 云 的 服务 可 以 距离 物 联网 设备 和 传感器 更 近 。 
雾 计算 拓展 了 云 计 算 的 概念 ， 相 对 于 云 来 说 ， 它 离 产生 数据 的 地 方 更 返 ， 数 据 采集 、 数 据 处 理 和 应 用 程序 都 集中 于 网 络 边 缘 


的 设备 中 (如 我 们 平时 使 用 的 计算 机 、 路 由 器 、 交 换 机 和 罕 入 式 处 理 器 ) ， 而 不 是 几乎 全 部 保存 在 云端 。 如 图 9.2 所 示 为 云 计算 
和 雾 计算 之 间 的 划分 示意 图 。 


图 9-2 云 计算 和 和 雾 计算 之 间 的 划分 示意 图 


通常 来 说 ， 雾 计算 环境 由 传统 的 网 络 组 件 如 路 由 器 、 开 关 、 机 项 盒 、 代 理 服务 器 、 基 站 等 构成 ， 可 以 安装 在 离 物 联网 终端 设 
备 和 传感器 较 近 的 地 方 。 这 些 组 件 可 以 提供 不 同 的 计算 、 和 存储、 网 络 通信 功 能 ， 支 持 服务 应 用 的 操作 执行 。 所 以 ， 雾 计算 依靠 这 
些 组 件 ， 可 以 创建 分 布 于 不 同 地 方 的 云 服务 。 


雾 计 算 促进 了 位 置 感 向、 移动 性 支持 、 实 时 交互 、 可 扩展 性 和 可 互 操作 性 。 所 以 ， 雾 计算 处 理 更 加 高 效 ， 能 够 考虑 到 服务 延 
时 、 功 耗 、 网 络 流量 、 资 本 和 运营 开支 、 内 容 发 布 等 因素 。 从 这 个 意义 上 讲 ， 雾 计算 相对 于 单纯 使 用 云 计 算 而 言 ， 更 好 地 满足 了 
物 联网 的 应 用 需求 。 


随 着 物 联网 从 一 个 科技 术语 变 成 了 广泛 部 署 的 网 络 应 用 平台 ， 人 们 已 经 清楚 地 认识 到 ， 云 计算 的 带宽 、 人 存储 、 延 时 、 安 全 性 
和 其 他 问题 给 许多 系统 造成 了 严重 的 限制 。 因 此 出 现 了 雾 计算 ， 一 种 更 分 散 的 数据 处 理 、 数 据 分 析 、 数 据 人 存储 方法 ， 它 可 在 需要 
的 时 间 和 地 点 进行 分 析 运 算 。 


9.3.1 OpenFog 架 构 的 产生 


认识 到 网 络 行业 对 于 分 布 计算 方法 的 需求 ，Intel|、ARM、 思 科 、 戴 尔 、 微 软 以 及 普林斯顿 大 学 边缘 实验 室 于 2015 年 11 月 组 
成 了 OpenFog 联 盟 ， 叶 在 定义 雾 计 算 的 结构 并 保证 互 操作 性 。 该 联盟 已 经 发 布 了 雾 计算 系统 架构 规 光 (SAS) 。 


国际 雾 计算 产 学 研 联 盟 (OpenFog 联 盟 ) 由 物 联网 领域 的 众多 领军 者 联合 组 成 ， 汇 聚 了 来 自 超过 55 家 企业 和 高 校 的 几 百 位 
行业 领袖 及 学 术 精 英 。 该 联盟 则 在 基于 开放 标准 技术 创建 一 个 框架 ， 将 有 效 、 可 靠 的 网 络 和 智能 终端 ， 与 云 、 终 端 和 服务 之 间 可 
识别 的 、 安 全 的 信息 流 结合 在 一 起 ， 通 过 葛 定 开放 式 架 构 和 分 享 核心 技术 等 多 项 举措 ， 加 速 雾 计算 的 推广 和 商用 进程 。 目 前 ， 
际 雾 计算 产 学 研 联盟 正在 和 IEEE 等 标准 开发 组 织 合 作 ， 提 出 严格 的 用 户 、 功 能 和 架构 需求 ， 以 及 详尽 的 应 用 程序 接口 (API) 和 
性 能 标准 ， 以 指导 实施 可 互 操作 的 设计 。 


2017 年 2 月 9 日 ， 美 国 加 州 弗 里 蒙特 ， 雾 计算 联盟 (OpenFog Consortium) 宣布 发 布 OpenFog 参 考 架构 (RA) ， 这 是 一 
个 旨 在 支持 物 联网 (loT) 、5G 和 人 工 智能 (Al) 应 用 的 数据 密集 型 需求 的 通用 技术 框架 。 该 参考 架构 标志 着 向 制定 标准 迈 出 了 
重要 的 第 一 步 ， 这 些 标准 是 为 复杂 的 数字 事务 处 理 提 供 高 性 能 、 互 操作 性 和 安全 性 所 必需 的 。 


OpenFog 是 一 种 圾 计 算 开 放 架 构 。 这 种 架构 的 特点 适用 于 垂直 市 场 领 域 。OpenFog 架 构 从 传统 封闭 式 系统 及 依赖 云 计算 的 
模型 ， 转 变 为 一 种 新 计算 模型 。 它 基于 工作 负载 和 设备 能 力 ， 使 计算 更 加 接近 网 络 边缘 ， 即 loT 传 感 器 和 控制 器 。 雾 计算 并 不 是 
为 了 取代 传统 云 计算 ， 而 是 作为 补充 和 扩展 。 


雾 计 算是 在 数据 产生 源 附近 提供 计算 、 存 储 、 控 制 和 联网 功能 ， 适 用 于 各 行 各 业 ， 是 有 效 解 决 安全 、 敏 捷 性 、 延 迟 和 效率 等 
问题 所 必需 的 。 


雾 计算 联盟 (OpenFog Consortium) 主席 Helder Antunes 表 示 : “正如 TCP/IP 成 为 支持 互联 网 发 展 的 标准 和 通用 框架 一 
样 ，OpenFog 正 在 为 支持 5G、 物 联网 和 人 工 智能 应 用 的 互 操作 性 制定 标准 和 通用 框架 。 虽 然 雾 计算 已 经 开始 在 智慧 城市 、 联 网 
汽车 和 无 人 机 中 使 用 ， 但 它 需 要 一 个 通用 、 可 互 操作 的 平台 来 增强 数字 化 转型 带 来 的 巨大 的 机 会 。 通 过 发 布 OpenFog 参 考 架 
构 ， 我 们 现在 已 向 这 个 方向 迈 出 了 重要 的 一 步 。” 


雾 计算 联盟 (OpenFog Consortium) 总 裁 Jeff Fedders 表 示 : “OpenFog 参 考 架构 将 确保 我 们 满足 雾 计算 的 所 有 通信 、 
软件 、 基 础 设施 和 安全 需求 。 我 们 的 目标 是 帮助 并 支持 商业 领袖 和 技术 专家 通过 雾 计算 创造 新 应 用 和 新 商业 模式 。 通 过 开发 这 个 
通用 框架 ， 我 们 正在 为 DpenFog 架 构 和 一 个 有 活力 的 供应 商 生 态 系统 解决 所 需要 的 硬件 、 软 件 和 系统 单元 。 


9.3.2，” 云 和 雾 的 角色 范畴 


物 联网 1oT 系 统 部 署 ， 和 客户 关键 需求 及 应 用 场景 息息相关 。 因 此 ， 物 联网 系统 采用 计算 智能 ， 通 过 管理 系统 的 处 理 流程 ， 
让 信息 物理 处 理 (Cyber Physical Process，CPP) 达到 最 佳 状态 。CPP 被 分 为 3 个 参数 集 : 期 望 状态 参数 、 观 测 参 数 和 影响 流 
程 状态 的 参数 。 计 算 智能 ， 可 以 通过 OpenFog 以 及 后 端 云 资源 部 署 实 现 ， 和 领域 实现 方案 相关 。 


物 联网 应 用 范例 中 至 少 有 3 大 类 计算 层 : 法 定 控制 、 监 督 控制 和 决策 支持 。 法 定 控制 ， 让 处 理 更 接近 于 期 望 状 态 ; 监督 控 
制 ， 基 于 对 当前 和 过 去 的 状态 进行 学 习 ， 从 而 保证 期 望 状态 得 到 优化 ;决策 支持 ， 对 所 有 装置 累积 的 数据 进行 操作 ， 然 后 反馈 给 
底层 控制 层 ， 或 者 企业 资源 规划 (ERP) 系统 ， 进 行 战略 决策 。 所 有 法 定 控制 和 监督 控制 ， 都 在 相对 较 小 的 范围 内 ， 通 常 在 单个 
装置 上 面 进行 。 相 反 ， 决 策 支 持 则 基于 分 布 到 整个 企业 范围 。 这 也 相对 规定 了 雾 和 云 所 扮演 的 角色 范围 。 


9.3.3 ”OpenFog 架 构 特征 

OpenFog 架 构 使 用 大 量 边缘 设备 和 计算 终端 ， 与 传统 云 服务 一 起 ， 进 行 数据 存储 、 计 算 、 网 络 连 接 及 管理 相关 的 任务 。 
OpenFog 架 构 和 传统 架构 相 比 ， 特 征 如 下 : 

在 用 户 和 商业 部 署 附近 ， 进 行 低 延 时 存储 。 

. 靠近 最 终 用 户 进 行 运算 ， 避 免 延 时 和 网 络 带宽 损耗 。 

. 低 延 时 通信 ， 而 不 是 所 有 通信 都 要 经 过 骨干 网 路 由 和 边缘 设备 同步 。 

. 靠近 最 终 节点 实现 管理 过 程 ， 包 括 网 络 测量 、 控 制 和 配置 。 

通过 安全 方式 ， 将 采样 本 地 的 计算 数据 传输 到 云端 ， 做 进一步 分 析 。 


云 架构 和 雾 架构 ， 并 不 是 二 者 只 可 选 其 一 。 什 么 任务 采用 雾 架 构 ， 什 么 任务 采用 云 架构 ， 取 决 于 应 用 需求 ， 也 会 动态 地 随 着 
网 络 瞬 时 需求 而 改变 。 计 算 架 构 的 选择 基于 网 络 状态 、 处 理 器 负载 、 链 接 带 宽 、 人 存储 能 力 、 故 障 事 件 ， 以 及 安全 威胁 。 


OpenFog 架 构 定义 了 雾 和 云 之 间 的 接口 ， 以 及 雾 和 雾 之 间 的 接口 ， 优 点 在 于 : 
: 认 知 改变 : 以 客户 端 为 中 心目 标 ， 具 有 自主 性 。 

` 效率 提高 : 在 最 终 用 户 设备 上 ， 动 态 合并 本 地 资源 。 

` 快速 敏捷 : 基于 通用 构架 快速 拓展 、 快 速 部 署 。 

` 延 时 减少 : 实时 处 理 和 物理 设备 控制 。 


平台 即 服务 (PaaS) 是 指 云 计算 服务 提供 平台 ， 让 用 户 不 需要 构建 和 维护 基础 架构 ， 就 可 以 开发 、 运 行 和 管理 网 络 应 用 程 
序 。 而 OpenFog 架 构 则 构建 了 “ 雾 即 服务 ” (FaaS) ， 来 应 对 特定 的 业务 挑战 ， 如 图 9.3 所 示 。 


呢 Bi 
* 


云 服务 


图 9-3 ”OpenFog 架 构 FaaS ( 雾 即 服务 ) 


. 雾 计算 基础 架构 (OpenFog Fabric) : 由 一 些 列 行为 模块 组 成 ， 构 建 同 质 计算 基础 架构 ， 使 有 用 的 服务 可 发 布 到 附近 生态 
系统 ， 如 设备 、 协 议 网 关 和 其 他 雾 节 点 。 这 种 同 质 计 算 基 础 架构 ， 通 常 构 建 在 由 多 个 供应 商 提供 的 不 同 硬件 和 平台 上 。 


- 雾 计 算 服 务 J : 构建 在 OpenFog Fabric 基 础 上 ， 可 包括 网 络 加 速 、 网 络 功 能 虚拟 化 、 自 防御 网 络 、 内 容 
发 布 、 设 备 管理 、 设 备 拓扑 、 复 杂事 件 处 理 、 视 频 编码 、 领 域 网 关 、 协 议 桥接 、 流 量 卸 载 、 加 密 、 压 缩 、 分 析 平 台 和 分 析 算 法 库 


“ 设备 /应 用 (Devices/Applications) : 包括 边缘 传感器 、 制 动 器 、 已 经 独立 运行 的 应 用 程序 ， 部 署 在 雾 中 或 者 横 跨 雾 层 部 
署 ， 在 OpenFog 服 务 层 处 理 。 


. 云 服 务 (Cloud Services) : 利用 云 计算 ， 处 理 更 大 规模 的 数据 ， 建 立 预 处 理 数 据 策略 。 它 应 该 在 不 影响 实时 性 的 条 件 下 ， 
起 到 一 些 补 充 作 用 。 


` 安全 机 制 (Secutity) : 是 OpenFog 部 署 的 基础 。 由 于 每 一 层 的 功能 模块 具有 自由 访问 控制 机 制 ， 所 以 围绕 着 生态 系统 部 署 
OpenFog， 必 须 在 安全 环境 下 运行 。OpenFog 架 构 需 通过 先进 的 信息 安全 处 理 ， 保 证 数据 在 不 同 端点 间 传 输 的 安全 性 。 


“ 开发 运营 : 通过 自动 化 驱动 ， 通 过 框架 和 处 理 流程 提高 操作 效率 。OpenFog 中 的 DevOps 支 持 驱 动 软件 OTA 升 级 ， 以 及 通 
科 


过 可 控 的 流程 为 终端 设备 打 补 丁 。 


物 联网 发 展 速度 是 爆炸 性 的 ， 让 人 印象 深刻 的 是 : 在 目前 的 架构 方案 下 是 不 可 持续 的 。 许 多 物 联网 部 署 面临 着 时 序 延 迟 


络 带 宽 不 足 、 可 靠 性 和 安全 性 差 等 问题 ， 这 些 问题 在 只 采用 云 计 算 的 模型 中 是 无 法 解决 的 。 雾 计算 在 云端 设备 和 终端 设备 之 间 及 
设备 和 网 关 之 间 增加 了 一 个 层次 结构 ， 以 高 性 能 、 开 放 和 可 互 操作 的 方式 来 应 对 这 些 挑战 。 


十 算是 一 种 系统 级 的 水 平 架构 ， 它 能 够 分 配 从 云端 到 终端 这 一 连续 区 域内 任何 地 方 的 计算 、 存 储 、 控 制 、 网 络 资源 和 服 


雾 i 
它 是 一 个 水 平 架构 : 支持 多 个 垂直 行业 和 应 用 领域 ， 将 智慧 与 服务 传递 给 终端 用 户 和 工商 企业 。 


务 。 
雾 计算 提 供 云 到 物 之 间 连 续 性 的 服务 ， 使 服务 和 应 用 分 布 得 更 接近 物 ， 可 以 在 从 云 到 物 这 一 连续 区 域内 的 任何 地 方 。 


雾 计 算是 系统 级 的 ， 从 物 开始 延伸 ， 包 含 网 络 边缘 、 云 及 多 个 协议 层 ， 不 仅 是 无 线 电 系统 ， 不 仅 是 一 个 特定 的 协议 层 ， 不 仅 
是 端 对 端 系统 的 一 部 分 ， 而 是 一 个 跨越 物 联网 和 云 的 系统 。 雾 计算 的 应 用 行业 如 图 9.4 所 示 。 
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图 9-4 ”哪些 行业 需要 雾 计算 
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雾 计算 可 以 使 物 联网 系统 获得 超 低 延 迟 、 高 效 商务 、 保 密 加 强 、 实 时 分 析 、 减 少 成 本 、 减 少 带宽 、 减 轻 网 络 负载 的 益处 ， 如 


图 9.5 所 示 。 
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图 9-5 雾 计 算 带 来 的 益处 
雾 计算 用 于 实现 物 联 网 、5G 和 人 工 智能 (Al) 应 用 的 数据 密集 型 需求 。 其 特征 简 述 如 下 。 
.Secutity: 保密 ， 附 加 保密 信息 确保 数据 安全 、 可 信 地 传输 。 
Cognition: 认 知 ， 以 客户 端 为 中 心目 标 ， 具 有 自主 性 。 
" Agility: : 灵活 ， 在 通用 设备 条 件 下 ， 快 速 实现 规模 部 署 ， 应 用 创新 。 
: Latency: 延迟 ， 实 时 处 理 和 控制 信息 物理 系统 。 
" Efficiency: 效率 ， 局 部 多 个 不 用 资源 动态 组 合 ， 形 成 资源 池 ， 提 供 雾 计算 服务 。 


云端 、 雾 端 、 终 端 之 间 的 拓扑 结构 如 图 9.6 所 示 。 
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图 9-6 云端 到 终端 之 间 需 要 雾 计算 、 雾 服务 、 雾 设备 补充 


9.3.4 OpenFog 参 考 架构 技术 支撑 


OpenFog 参 考 架构 是 一 个 高 级 别 指导 文献 ， 有 望 成 为 雾 计算 的 行业 标准 。OpenFog Consortium 正 在 和 |EEE 等 标准 开发 组 
织 合 作 ， 提 出 严格 的 用 户 需求 、 功 能 架构 ， 以 及 详尽 的 应 用 程序 接口 (API) 和 性 能 标准 ， 以 指导 项 目 实施 、 功 能 操作 、 应 用 设 
Th 


交通 、 医 疗 、 制 造 和 能 源 等 行业 产生 、 传 输 、 分 析 和 使 用 的 数据 量 巨大 ， 且 不 断 增长 的 数据 总 量 以 ZB (ZetaByte) 计算 ， 


使 单纯 的 云 架构 和 位 于 网 络 边缘 的 操作 面临 挑战 。 雾 计算 与 云 计 算 协 力 并 覆盖 孤立 的 设备 操作 ， 可 有 效 支持 云端 到 终端 物 联网 、 
5G 和 人 工 智能 场景 。 


对 于 自主 车 辆 系统 ， 例 如 ， 智 能 汽车 连接 交通 信号 灯 、 城 市 基础 设施 和 运行 中 的 其 他 车 辆 并 与 它们 通信 ， 每 次 行驶 时 产生 的 
数据 将 达 万 亿 字 节 。 这 些 数 据 的 延迟 必须 在 微 秒 级 ， 可 靠 的 网 络 可 用 性 和 带宽 至 关 重要 ， 目 前 的 物 联 网 系统 架构 不 能 满足 这 些 任 
务 关键 型 数据 的 需求 。OpenFog 架 构 其 特有 的 多 层 雾 节点 能 够 运用 接近 源头 的 数据 并 管理 雾 到 物 、 雾 到 雾 和 雾 到 云端 口 之 间 的 
接口 ， 成 功 地 满足 了 智能 设备 的 工作 需求 。 


OpenFog 参 考 架构 为 雾 节 点 (智能 互联 设备 ) 与 网 络 、 部 署 模式 、 层 次 模型 和 应 用 实例 提供 了 一 个 中 、 高 层次 的 系统 架构 
图 。 它 是 OpenFog Consortium 正 在 开发 的 一 系列 文件 的 一 部 分 。 未 来 的 架构 文件 将 提供 更 多 的 底层 细节 以 满足 新 需求 ， 包 括 
枚 举 需 求 、 定 量 试验 、 安 全 认证 和 雾 单 元 互 操作 认定 。 


OpenFog 参 考 架构 的 关键 是 该 架构 所 基于 的 8 个 核心 技术 原则 ， 被 称 为 8 个 技术 支柱 。 这 些 技术 支柱 体现 了 一 个 系统 被 定义 
为 OpenFog 所 应 包含 的 关键 属性 。 这 8 个 核心 技术 包括 : 安全 性 、 可 伸缩 性 、 开 放 性 、 自 主 性 、RAS (可 靠 性 、 可 用 性 和 适用 
性 ) 、 敏 捷 性 、 层 次 结构 和 可 编程 性 ， 如 图 9.7 所 示 。 
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图 9-7 OpenFog 联 盟 给 出 了 雾 计算 架构 的 8 条 支撑 技术 
:加密 技术 (Security) : 雾 计算 必须 增加 安全 层 ， 保 证 可 信 性 ， 保 护 个 人 隐私 ， 维 护 系统 安全 。 


" 可 扩展 技术 (Scalability) : 雾 计算 必须 性 能 可 扩展 ， 资 源 可 扩展 。 局 域 化 的 自主 控制 、 指 令 决 策 、 数 据 分 析 ， 资 源 动态 组 
合 ， 可 以 减少 网 络 资源 的 费用 ， 降 低 成 本 。 


* 开放 技术 (Open) : 对 于 大 规模 应 用 来 说 ， 具 有 开放 标准 很 重要 ， 因 为 许多 要 求 提供 支持 系统 的 硬件 和 软件 ， 使 计算 资 
源 可 视 化 、 控 制 决策 透明 化 ， 数 据 标 准 化， 设备 可 互 操作 。 


.自治 技术 (Autonomy) : 以 客户 端 为 中 心 的 理念 ， 决 策 灵 活 、 迅 捷 。 


. RAS 技 术 (Reliability、Availability、Serviceability) : 可 靠 性 、 可 用 性 、 可 服务 性 。 


. 敏捷 技术 (Agility) : 智慧 化 数据 处 理 ， 迅 速 在 现场 作出 战略 战术 决策 。 
“ 层次 化 技术 (Hierarchy) : 雾 计算 支持 分 层 结 构 ， 具 有 本 地 、 和 邻居 和 区 域 级 别 ， 有 效 的 划分 了 计算 任务 。 


. 可 编程 技术 (Programmability) : 软件 、 硬 件 高 度 可 编程 ， 多 租户 虚拟 化 ，App 无 线 移动 服务 可 编程 。 


9.3.5 ” 雾 计 算 染 构 模 型 实例 


雾 计 算是 在 传 感 网 络 和 数据 中 心 之 间 的 边缘 服务 器 上 构建 的 服务 和 应 用 ， 它 将 传 感 网 络 和 数据 中 心 的 部 分 功能 迁移 过 来 ， 并 
提供 有 限 的 分 布 式 计算 、 人 存储 和 网 络 服务 。 雾 计算 作为 物 联网 和 云 计 算 的 媒介 ， 能 够 解决 物 联 网 时 代 由 于 云 计 算 引 起 的 终端 节点 
请 求 延 时 、 云 服务 器 存储 爆满 、 计 算 负担 过 重 、 网 络 传输 带宽 压力 过 大 等 问题 。 雾 计算 是 一 个 新 颖 的 研究 方向 ， 目 前 虽然 在 学 术 
界 还 没有 统一 标准 ， 但 在 大 数据 环境 下 (如 智慧 教育 、 智 能 交通 、 智 能 电网 等 ) 将 会 有 广阔 的 应 用 前 景 。 


围绕 雾 计 算 的 定义 及 其 特征 ， 研 发 人 员 从 智能 终端 的 异 构 性 入 手 研究 基于 雾 计 算 的 平台 构架 和 服务 器 构建 ， 设 计 了 一 种 通用 
的 雾 计算 架构 模型 ， 使 用 通用 的 网 络 设备 实现 了 雾 计算 设计 的 功能 ， 通 过 数据 预 处 理 和 数据 共享 两 个 实例 ， 验 证 了 雾 计算 架构 模 
型 的 可 用 性 。 


研发 人 员 设计 了 一 种 雾 计算 通用 架构 模型 ， 并 将 雾 计 算 部 署 在 其 中 的 网 络 传输 层 ， 设 计 目 的 是 为 了 实现 提供 异 构 网 络 转换 服 
务 、 数 据 推送 服务 、 数 据 存 储 服务 和 计算 服务 等 核心 雾 计算 功能 。 通 过 雾 计算 通用 架构 模型 的 实施 ， 既 为 终端 设备 提供 了 本 地 化 
的 智能 分 析 和 反馈 服务 ， 也 为 云 服务 器 提供 了 数据 的 过 滤 和 融合 等 预 处 理 计算 服务 。 


基于 雾 计 算 的 架构 模型 和 功能 定位 ， 研 发 人 员 设计 了 一 种 融合 ZigBee、 蓝 牙 和 WiFi 等 多 种 无 线 通信 协议 的 智能 网 关 。 该 智 
能 网 天 由 3 个 网 关 汇 点 模块 和 一 个 网 天 主 模块 构成 ， 实 现 了 无 线 传感器 网 络 的 组 网 功能 ， 解 决 了 无 线 传 感 网 络 和 互联 网 的 数据 交 
换 问题 ， 通 过 分 布 图 异常 值 剔 除 算法 、 分 批 估计 数据 融合 算法 ， 实 现 了 传 感 数据 中 异常 值 剔 除 、 有 效 数 据 融合 及 其 他 预 处 理 功 
能 。 通 过 观测 恒温 环境 的 测试 实验 ， 验 证 了 该 智能 网 关 不 仅 能 够 实现 感知 网 络 接 入 、 异 构 网 络 转换 等 基本 网 络 功能 ， 还 能 完成 精 
度 较 高 的 异常 值 检测 和 数据 融合 等 基本 计算 功能 ， 有效 降 低 了 感知 数据 在 数据 中 心 的 存储 数量 级 ， 减 轻 了 频繁 数据 交换 引发 的 网 
络 带 宽 压 力 。 


9.3.6 ” 物 联网 计算 边界 的 划分 


雾 计 算是 云 计 算 的 延伸 概念 ， 主 要 用 于 管理 来 自传 感 器 和 边缘 设备 的 数据 ， 将 数据 采集 、 数 据 处 理 和 应 用 程序 集中 在 网 络 边 
缘 的 设备 中 ， 而 不 是 全 部 保存 在 云端 数据 中 心 。 


设计 实例 : 在 终端 设备 和 云端 数据 中 心 之 间 再 加 一 层 “ 雾 ”， 即 网 络 边缘 层 ， 比 如 再 加 一 个 带 有 存储 器 的 小 服务 器 或 路 由 
器 ， 把 一 些 并 不 需要 放 到 云端 的 数据 在 这 一 层 直接 处 理 和 存储 ， 可 以 大 大 减少 云端 的 计算 和 存储 压力 ， 提 高 效率 ， 提 升 传输 速 
率 ， 减 低 延 时 。 


雾 计 算 自 提出 就 是 作为 云 计 算 的 延伸 扩展 ， 而 不 是 云 计 算 的 蔡 代 。 如 前 面 所 讲 ， 在 物 联网 生态 中 ， 雾 可 以 过 滤 、 聚 合用 户 消 
; 匿名 处 理 用 户 数据 ， 保 证 其 隐秘 性 ; 初步 处 理 数据 ， 作 出 实时 决策 ; 提供 临时 存储 ， 提 升 用户 体 验 。 


沿 


相对 的 ， 云 端 可 以 负责 大 运算 量 或 长 期 存储 任务 (如 历史 数据 保存 、 数 据 挖掘 、 状 态 预 测 、 整 体 性 决策 等 ) ， 从 而 弥补 单一 
雾 节 点 在 计算 资源 上 的 不 足 。 这 样 ， 云 端 和 和 雾 端 共同 形成 一 个 彼此 受益 的 计算 模型 ， 这 个 新 的 计算 模型 能 更 好 地 适应 物 联 网 应 用 


场景 ， 如 图 9.8 所 示 。 


雾 计算 技术 采用 分 布 式 的 计算 方式 ， 将 计算 、 通 信 、 控 制 和 存储 资源 与 服务 分 布 给 靠近 用 户 的 设备 与 系统 。 可 以 说 ， 雾 计算 
扩大 了 云 计 算 的 网 络 计算 模式 ， 将 网 络 计算 从 网 络 中 心 扩 展 到 了 网 络 边缘 ， 从 而 更 加 广泛 地 应 用 于 各 种 服务 。 


雾 计 算 在 地 理 上 分 布 更 广泛 ， 而 且 具 有 更 大 范围 的 移动 性 ， 使 它 适 应 越 来 越 多 不 需要 进行 大 量 运 算 的 智能 设备 。 在 一 些 对 时 
间 延 迟 敏感 的 应 用 场景 ， 如 实时 控制 和 流 媒 体 应 用 中 ， 雾 计算 也 具有 更 大 的 优势 。 例 如 ， 温 度 计 每 秒 的 读数 是 无 须 上 传 到 云端 
的 。 雾 计算 技术 要 做 的 是 在 实时 数据 的 基础 上 得 到 一 个 平均 数 ， 然 后 每 半 小 时 左右 将 其 上 传 到 云端 。 如 果 温度 出 现 异常 ， 传 感 器 
仍然 可 以 相当 智能 ， 迅 速 反应 。 
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图 9-8” 物 联网 中 云 计算 与 雾 计算 的 边界 定义 


随 着 传感器 的 发 展 ， 物 联网 正 席 卷 几乎 各 个 行业 ， 智 能 终端 的 数量 和 采集 数据 的 规模 都 在 几何 级 增加 ， 对 企业 的 计算 和 人 存储 
都 带 来 非常 大 的 压力 ， 通 过 雳 计算 ， 大 量 的 实时 数据 不 用 全 部 传 到 云端 仓储、 计算 ， 再 把 需要 的 数据 从 云端 传 回来 ， 而 是 可 以 在 
网 络 的 边缘 直接 处 理 有 用 的 数据 ， 大 大 提高 了 企业 运行 效率 。 


雾 计 算 并 非 由 性 能 强大 的 服务 器 组 成 ， 而 是 由 性 能 较 弱 、 更 为 分 散 的 ， 处 于 大 型 数据 中 心 以 外 的 庞大 外 围 设备 组 成 ， 这 些 外 
围 设 别 包括 智能 终端 本 身 ， 也 包括 把 智能 设备 与 云端 相连 接 的 网 关 或 路 由 设备 ， 可 以 渗入 工厂 、 汽 车 、 电 器 、 街 灯 及 人 们 生活 中 
的 各 类 可 计算 设备 中 。 


9.4 ”和 雾 计 算 特 点 


“ 雾 计算 ”的 名 字 最 初 是 由 美国 纽约 哥伦比亚 大 学 的 斯 特 尔 佛教 授 (Prof.Stolfo) 起 的 ， 他 当时 的 目的 是 利用 “ 雾 ”来 阻 
挡 黑 客 入 侵 。 后 来 美国 思科 公司 把 这 个 名 词 接 了 过 去 ， 用 于 网 络 发 展 战略 和 推销 产品 。 而 1BM 一 直 在 推动 网 络 “ 边 缘 化 ”， 准 备 
把 很 多 “ 云 计 算 ” 的 工作 逐步 移 到 “ 雾 计算 ”中 ， 就 是 把 处 于 网 络 中心 的 “数据 中 心 ” 里 的 数据 ， 移 到 网 络 的 边缘 处 。 


雾 计 算 对 于 企业 来 说 有 着 明显 的 积极 效果 : 企业 大 量 的 内 部 数据 不 用 传 到 云端 再 从 云端 传 回来 ， 而 是 直接 通过 雾 端 来 处 理 ， 
能 大 大 提高 企业 效率 。 对 于 个 人 来 说 ， 如 果 手 机 里 的 软件 需要 升级 ， 也 不 必 到 云端 升级 ， 只 需 在 最 近 的 地 方 (如 小 区 内 ) 通过 雾 
计算 的 设备 升级 就 可 以 了 。 


9.4.1“ 雾 计算 的 主要 特点 


雾 计 算 的 主要 特点 如 下 : 


* 极 低 时 延 。 这 对 于 目前 正在 过 勃发 展 中 的 物 联 网 有 着 十 分 重要 的 意义 ， 除 此 之 外 ， 网 上 游戏 、 视 频传 输 、 增 强 现实 等 应 用 
也 都 需要 极 低 的 时 延 。 


: 辽阔 的 地 理 分 布 。 这 正好 与 集中 在 某 个 地 点 的 云 计算 〈 数 据 中 心 ) 形成 强烈 的 对 比 。 例 如 ， 如 果 需 要 把 信息 和 视频 发 送 给 
高 速 移动 的 汽车 时 ， 可 以 沿 着 高 速 公路 设置 无 线 接 入 点 。 


" 大 规模 传感器 网 络 ， 部 署 有 大 量 网 络 节点 ， 用 来 监控 环境 变化 。 智 能 电网 本 身 就 是 带 有 计算 资源 和 存储 资源 的 大 规模 分 布 
式 网 络 ， 可 以 作为 雾 计算 的 应 用 实例 。 


* 支持 高 移动 性 。 对 于 雾 计算 来 说 ， 手 机 和 其 他 移动 设备 之 间 可 以 互相 直接 通信 ， 信 号 不 必 到 云端 其 至 基站 去 绕 一 圈 ， 因 此 
可 以 支持 很 高 的 移动 性 。 


. 支持 实时 互动 。 
“ 支持 多 样 化 的 软 、 硬 件 设备 。 
“ 支持 云端 在 线 分 析 。 


这 里 举 一 个 应 用 雾 计算 到 智能 交通 系统 的 例子 。 这 个 系统 把 交通 灯 作 为 网 络 节点 ， 可 以 和 传感器 一 起 进行 互动 。 传 感 器 可 以 
探测 出 骑 自 行车 的 人 与 正在 接近 的 汽车 的 距离 和 车 速 。 通 过 雾 计算 ， 这 些 智 能 交通 灯 可 以 与 邻近 的 智能 交通 灯 进 行 协调 ， 可 以 对 
接近 的 汽车 发 出 警告 ， 甚 至 可 以 改变 红绿灯 亮 起 的 周期 ， 以 避免 出 现 交 通 意外 。 在 智能 交通 系统 的 雾 计算 服务 器 里 的 数据 ， 不 用 

部 传 到 云端 ， 再 进行 全 局 数据 分 析 。 


再 如 无 线 传 感 网 络 ， 它 的 特点 是 极 低 的 功 耗 ， 电 池 可 以 5 或 6 年 换 一 次 ， 甚 至 可 以 不 用 电池 使 用 太阳 能 或 其 他 能 源 来 供电 。 
这 样 的 网 络 节点 只 有 很 低 的 带宽 及 低 端 处 理 器 ， 以 及 小 容量 的 存储 器 。 传 感 器 主要 收集 温度 、 湿 度 、 雨 量 、 光 照 量 等 环境 数据 ， 
不 需要 把 这 些 数 据 传 到 云端 ， 直 接 传 到 雾 端 就 可 以 了 。 这 是 埋 计算 的 典型 应 用 。 


9.4.2 和 雾 节 点 的 位 置 


雾 计 算 和 云 计算 有 很 多 相似 之 外 。 例 如 ， 它 们 都 基于 虚拟 化 技术 ， 从 共享 的 资源 池 中 为 多 用 户 提供 资源 。 雾 计算 更 接近 “地 
面 ”。 这 也 指出 了 雾 和 云 第 一 个 不 同 点 一 一 位 置 。 具 体 说 就 是 它们 在 网 络 拓扑 中 的 位 置 。 


如 图 9.10 是 根据 思科 对 雾 计算 的 原始 定义 所 作 的 图 示 。 在 思科 的 定义 中 ， 雾 主要 使 用 边缘 网 络 中 的 设备 。 这 些 设备 可 以 是 传 
统 网 络 设备 (早已 部 署 在 网 络 中 的 路 由 器 、 交 换 机 、 网 关 等 ) ， 也 可 以 是 专门 部 署 的 本 地 服务 器 。 一 般 来 说 ， 专 门 部 署 的 设备 会 
有 更 多 资源 ， 而 使 用 有 宽裕 资源 的 传统 网 络 设备 则 可 以 大 幅度 降低 成 本 。 这 两 种 设备 的 资源 能 力 都 远 小 于 一 个 数据 中 心 ， 但 是 它 


们 庞大 的 数量 可 以 弥补 单一 设备 资源 的 不 足 。 


雾 平 台 由 数量 庞大 的 雾 节 点 ( 即 上 文中 雾 使 用 的 硬件 设备 ， 以 及 设备 内 的 管理 系统 ) 构成 。 这 些 雳 节点 可 以 各 自 散布 在 不 同 
地 理 位 置 ， 与 资源 集中 的 数据 中 心 形成 鲜明 对 比 ， 如 图 9.9 所 示 。 


四 全 @ © 
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图 9-9 ” 雾 节点 的 位 置 


根据 以 上 内 容 ， 可 以 总 结 出 雾 计算 与 云 计算 的 不 同 点 如 下 。 

“ 更 低 : 雾 节 点 在 网 络 拓扑 中 位 置 更 低 ， 拥 有 更 小 的 网 络 延迟 (总 延迟 = 网 络 延迟 + 计算 延迟 ) ， 反 应 性 更 强 。 
“更 多 : 相 比较 云 平台 的 构成 单位 数据 中 心 ， 雾 节点 数量 庞大 。 

:更 广 : 雾 节 点 拥有 广泛 的 地 域 分 布 。 


- 更 轻 : 雾 节 点 更 轻 量 ， 计 算 资源 有 限 。 


9.4.3 ” 雾 计 算 的 优点 


除了 9.4.2 节 中 提 到 的 低 延 迟 ， 雾 计算 还 有 以 下 优点 。 
1. 节 省 核心 网 络 带 宽 


雾 作 为 云 和 终端 的 中 间 层 ， 本 身 就 在 用 户 与 数据 中 心 的 通信 通路 上 。 雾 可 以 过 滤 ， 聚 合用 户 消息 (如 不 停 发 送 的 传感器 消 
息 ) ， 只 将 必要 的 消息 发 送 给 云 ， 减 小 核心 网 络 压 力 。 


可 靠 性 


让 
囊 


为 了 服务 不 同 区 域 的 用 户 ， 相 同 的 服务 会 被 部 署 在 各 个 区 域 的 雾 节 点 上 。 这 也 使 得 高 可 靠 性 成 为 雾 计算 的 内 在 属性 ， 一 旦 某 
一 区 域 的 服务 异常 ， 用 户 请 求 可 以 快速 转向 其 他 临近 区 域 。 


3. 了 解 背 景 信息 


因为 分 布 在 不 同 区 域 ， 雾 计算 中 的 服务 可 以 了 解 到 区 域 背景 信息 ， 如 本 区 域 带宽 是 否 紧张 ， 根 据 这 个 信息 ， 一 个 视频 服务 可 
以 及 时 决策 是 否 降低 本 地 区 视频 质量 来 避免 卡 顿 ; 对 一 个 地 图 应 用 ， 则 可 将 本 地 区 地 图 缓存 ， 以 提高 用 户 体验 。 


4. 省 电 


数据 中 心 的 电力 消耗 已 经 成 为 重要 成 本 ， 其 中 冷却 系统 占有 不 可 忽视 的 比重 。 雾 计算 节点 因为 地 理 位 置 分 散 ， 不 会 集中 产生 
大 量 热量 ， 并 不 需要 额外 的 冷却 系统 ， 从 而 减少 耗 电量 。 


基于 以 上 优点 ， 雾 能 够 弥补 云 的 不 足 ， 并 和 云 相 互 配 合 ， 协 同 工 作 。 


9.4.4” 雾 计算 的 缺点 


雾 计算 带 来 新 的 可 能 性 的 同时 ， 也 在 安全 性 、 高 效 利用 资源 、APl 等 方面 带 来 了 新 的 挑战 。 

. 雾 使 用 大 量 分 散 设备 ， 使 中 心 化 的 控制 变 得 困难 。 

. 雾 节点 的 资源 相对 受 限 ， 需 要 节点 间 的 协同 配合 才能 优化 各 服务 的 部 署 。 

. “ 何 时 将 服务 迁移 至 何 处 ” 则 是 应 对 移动 终端 设备 动态 的 应 用 场景 需要 考量 的 问题 。 

随 着 老 计 算 概念 的 发 展 ， 老 被 进一步 扩展 到 “地 面 上 ”。 雾 节点 不 再 仅 限 于 网 络 边缘 层 ， 还 包括 拥有 宽裕 资源 的 终端 设备 。 


终端 设备 与 用 户 直接 交互 上 且 数 量 庞大 ， 在 丰富 雾 设 备 种 类 的 同时 ， 也 带 来 更 多 动态 不 确定 问题 ， 如 电池 电量 、 雾 节点 移动 性 


等 问题 需要 解决 。 
时 至 今日 ， 雾 计算 已 经 成 为 研究 的 热点 和 重点 ， 并 被 业界 寄予 厚望 。 然 而 ， 对 雾 计算 的 质疑 仍然 存在 。 
雾 计算 远 远 不 止 这 么 简单 ， 它 是 对 数 以 万 计 的 “本 地 服务 器 ”整体 性 的 考量 。 它 是 一 个 平台 而 不 是 单独 的 一 台 机 器 。 
国际 上 的 科技 巨头 们 选择 的 所 有 项 目 都 与 雾 计 算 有 很 大 关联 ， 他 们 人 花费 了 大 笔 资金 聘用 了 项 级 科学 家 来 攻关 研究 。 例 如 


. Arm、 思 科 、 戴 尔 、Intel、 和 微软、 普林斯顿 大 学 ， 共 同 投 资 创办 的 雾 计算 研究 项 目 OpenFog。 


:Orange (法 国电 信 ) 与 Inria (法 国 国立 计算 机 及 自动 化 研究 院 ) 共同 主导 的 雾 计算 与 大 规模 分 布 式 云 研究 项 目 Discovery。 
: 华为 的 “全 面 云 化 ”战略 。 

Intel 的 Cloud Computing at the Edge 项 目 。 

:NTT 的 Edge Computing 项 目 。 

ATE&cT 的 Cloud2.0 项 目 


与 传统 云 计算 不 同 ， 雾 计算 着 重 于 网 络 边缘 部 位 的 信息 计算 ， 它 令 设备 对 信息 的 即时 处 理 更 为 便捷 ， 有 着 云 计算 所 不 可 蔡 代 
的 优势 。 物 联网 是 20 世 纪 90 年 代 未 兴起 的 一 个 概念 。 它 主要 解决 物品 与 物品 (Thing to Thing，T2T) ， 人 与 物品 (Human to 
Thing，H2T) ， 人 与 人 (Human to Human，H2H) 之 间 的 互 连 。 


物 联网 所 创造 的 价值 并 不 真正 来 源 于 它 所 运用 的 数据 ， 而 是 源 自 对 这 些 数 据 的 解读 。 解 读 后 的 信息 可 以 令 我 们 获悉 其 内 涵 的 
科学 价值 ， 提 高 设备 的 效率 、 可 靠 性 和 利用 率 ， 并 由 此 为 我 们 的 生活 带 来 便利 。 


从 供应 链 管理 到 自动 化 制造 ， 再 到 车 辆 停泊 管理 和 废弃 物 处 理 ， 物 联网 正 通过 多 种 形式 实现 着 它 的 价值 。 它 使 得 企业 得 以 用 
同样 的 投入 获得 更 大 的 产 出 ， 或 是 用 更 少 的 投入 获得 同样 的 产 出 (如 制造 、 农 业 、 能 源 领 域 ); 提升 人 类 的 健康 与 安全 系数 (如 
灾难 预警 、 老 人 购 养 、 环 境 监测 、 辅 助 执法 等 ) ; 也 能 为 人 类 生活 带 来 更 佳 的 体验 (如 交通 琉 导 等 ) 。 


如 果 想 真正 通过 物 联 网 来 节约 时 间 、 节 省 成 本 ， 必 须 了 解 它 所 利用 的 数据 从 何 而 来 。 一 般 来 讲 ， 这 些 数据 都 会 来 自 集中 而 可 
伸展 的 (Scalable) 的 云 计算 平台 。 这 些 云 计算 平台 都 是 为 物 联网 中 的 设备 、 物 联网 独 有 的 连通 性 ， 以 及 物 联网 对 于 数据 管理 的 
需要 而 特殊 设计 的 。 


简单 说 来 ， 云 计算 是 将 备用 存储 空间 与 计算 基础 结构 连接 起 来 的 一 种 使 用 互联 网 的 方式 ， 这 种 网 络 使 用 方式 也 备 受 公司 与 企 
业 的 青睐 。 在 物 联网 环境 下 ， 云 计算 为 公司 对 物 联 网 的 各 级 部 署 管 理 (包括 设备 位 置信 息 与 管理 、 记 账 、 安 全 协议 和 数据 分 析 
等 ) 提供 了 一 种 灵活 的 解决 方法 。 


正 是 因为 云 服务 的 强大 ， 才 使 得 软件 开发 者 得 以 基于 云 计算 来 研发 并 升级 物 联网 应 用 程序 。 物 联网 的 远景 十 分 宏伟 : 人 们 将 
会 通过 物 联网 建立 一 个 由 无 数 高 度 智能 、 相 互联 系 的 物品 组 成 的 世界 。 


很 多 科技 巨头 都 将 云 存储 和 云 计算 作为 一 项 服务 提供 给 物 联 网 市 场 。 微 软 有 Azure 系 列 (微软 一 款 基 于 云 计算 的 操作 系统 ， 
可 以 用 来 创建 云 中 运行 的 应 用 ， 提 供 数 据 库 、 云 服务 、 云 存储 、 人 工 智能 互联 网 等 云端 服务 ) ; 云 服务 “大亨 ”亚马逊 的 
AWS (Amazon Web Services) 有 AWS Greengrass、AWS loT Platform 和 AWSs loT Button 等 一 系列 针对 物 联网 的 云 服务 ; 
IBM 通 过 Bluemix 云 服务 使 用 户 获 得 Watson 的 使 用 权限 。 类 似 这 样 的 例子 不 胜 枚 举 。 


尽管 云 服务 产品 丰富 多 样 ， 但 是 它们 的 共同 特征 就 是 令 用 户 能 够 在 便捷 灵活 地 使 用 多 样 |T 产 品 的 同时 ， 无 须 购买 繁多 的 硬件 
设施 和 软件 程序 。 如 此 一 来 ， 云 计算 服务 还 可 以 省 去 管理 和 维护 软 、 硬 件 的 麻烦 ， 可 谓 一 举 三 得 。 


但 是 ， 对 于 想 要 拥有 较 低 延迟 率 或 数据 传输 量 有 限 的 应 用 程序 和 服务 来 说 ， 云 计算 就 显得 心 有 余 而 力 丰 足 了 。 这 时 候 ， 开 发 
者 们 都 希望 将 问题 放置 在 网 络 边缘 (Edge， 通 常 是 指 网 络 的 接 入 层 ， 就 是 靠近 用 户 端的 位 置 ) 来 加 以 解决 。 


美国 商业 管理 顾问 公司 Senza Fili Consulting 的 董事 长 Monica Paolini 在 Linkedln 中 写 道 : 近 几 年 ， 社 会 上 掀起 了 一 场 “ 将 
所 有 东西 都 置 于 云端 ”的 浪潮 。 云 端 是 一 个 高 度 集中 的 平台 ， 随 虚拟 化 技术 的 发 展 应运 而 生 。 它 满足 了 人 们 对 降低 产品 成 本 、 节 
约 市 场 推广 时 间 、 提 高 创造 自由 性 的 渴望 。 然 而 在 此 过 程 中 ， 我 们 却 忽视 了 软件 运行 的 “实际 位 置 ”对 软件 表现 、 网 络 资源 利用 
效率 和 用 户 体验 的 重大 影响 。 物 理 距 离 将 会 不 可 避免 地 增加 反应 延迟 。 


为 了 使 跨 产 业 物 联网 部 署 成 为 可 能 ， 雾 计算 联盟 通过 建立 一 个 参考 体系 结构 (Reference Architecture) 来 增强 网 络 边缘 与 
云端 连接 的 互 操作 性 。 
该 组 织 现 已 发 现 多 个 需 使 用 边缘 计算 来 实现 物 联网 应 用 的 案例 ， 包 括 智 能 建筑 、 无 人 机 运送 服务 、 实 时 地 下 影像 、 交 通 拥堵 


管理 及 视频 监控 等 。 该 组 织 在 2017 年 2 月 曾 公 布 了 雾 计算 参考 体系 结构 的 执行 概要 。 


雾 计 算 联盟 主席 Helder Antunes 称 该 雾 计算 参考 体系 结构 的 公布 象征 着 一 个 “通用 框架 ”的 建立 ， 该 框架 会 促使 物 联网 被 
社会 所 采纳 。 尽 管 雾 计算 已 逐渐 在 智能 城市 、 联 网 汽车 、 无 人 机 等 其 他 领域 靳 露头 角 ， 但 仍 需要 一 个 通用 的 、 可 互 操 作 的 平台 来 
推进 雾 计算 的 进步 。 


任何 架构 在 带 来 新 优势 的 同时 ， 必 然 带 来 新 问题 。TCP/IP 架 构 把 计算 集中 到 网 络 边缘 ， 带 来 了 服务 器 性 能 瓶 芯 、 性 能 低 、 
DDOS 攻 击 和 IP 地 址 消耗 过 快 等 系列 问题 ， 于 是 在 TCP/IP 商 用 发 展 了 大 约 10 年 后 的 2004 年 前 后 ， 修 补 TCP/IP 架 构 的 “大 补 
本 ”就 兴起 了 ， 如 CDN、NAT 和 流量 清洗 。 


云 计 算 架 构 将 计算 从 用 户 侧 集中 到 数据 中 心 ， 让 计算 远离 了 数据 源 ， 但 也 会 带 来 计算 延迟 、 拥 塞 、 低 可 靠 性 和 安全 攻击 等 问 
云 


题 ， 于 是 在 云 计 算 发 展 了 大 约 10 年 后 的 2016 年 ， 修 补 云 计算 架构 的 “大 补 本 ”一 一 雾 计算 /边缘 计算 开始 兴起 了 。 
雾 计算 就 是 本 地 化 的 云 计 算 。 云 计算 更 强调 计算 的 方式 ， 雾 计算 更 强调 计算 的 位 置 。 如 果 说 云 计 算是 WAN 计 算 ， 那 么 雾 计 
算 就 是 LAN 计 算 。 如 果 说 CDN 是 弥补 TCP/IP 本 地 化 缓存 问题 ， 那 么 雾 计 算 就 是 弥补 云 计算 本 地 化 计算 问题 。 


9.4.5 ” 云 、 雾 联合 计算 


本 节 以 自动 驾驶 (Autonomous Driving) 为 实例 介绍 云 、 雾 联合 计算 。 将 配备 有 激光 探测 与 测量 系统 、 图 像 处 理 系 统 、 自 
动 驾驶 的 智能 车 辆 与 其 他 载 具 、 行 人 、 智 能 基础 设施 ， 以 及 各 类 云端 服务 彼此 联系 在 一 起 ， 来 共同 实现 车 内 娱乐 、 预 见 性 维护 、 
远程 诊断 等 一 系列 服务 。 


如 果 只 是 单纯 地 想 要 在 汽车 内 通过 登录 Netflix 云 账号 看 视频 ， 或 者 想 要 记录 汽车 运行 和 维修 历史 ， 那 么 云 计 算是 可 以 满足 
这 些 需要 的 。 而 对 于 帮助 车 辆 避 开 高 速 公路 碰撞 事故 这 样 关键 性 的 任务 ， 云 计算 就 不 是 最 佳 选择 了 ， 因 为 云 计算 会 带 来 延迟 。 
此 ， 对 时 间 延 迟 要 求 较 高 的 任务 ， 应 在 网 络 边缘 的 平台 进行 处 理 。 


为 了 实现 “ 云 、 雾 计算 ”的 双管齐下 ， 思 科 、 微 软 两 大 公司 联手 ， 将 思科 的 Fog Data Services 与 微软 研发 的 Azure 物 联网 
云 平台 整合 在 一 起 ， 使 网 络 边 缘 的 分 析 、 安 全 、 控 制 ， 以 及 数据 管理 与 云端 连通 性 、 决 策 判断 、 安 全 分 析 、App 开 发 等 方面 有 机 
结合 起 来 。 云 、 雾 计算 的 拓扑 示意 图 如 图 9.10 所 示 。 


图 9-10 ” 云 、 雾 融合 的 物 联 网 拓扑 图 


思科 物 联 网 战略 组 组 长 Macario Namie 在 他 一 则 博文 中 写 到 : “通过 将 万 物 连 接 起 来 ， 人 们 得 到 了 各 式 各 样 的 实时 数据 。 
接 下 来 ,我 们 需要 将 数据 转换 为 信息 ， 更 重要 的 是 ， 我 们 需要 将 这 些 数据 转化 为 可 创造 商业 价值 的 实际 行动 。” 


因此 ， 人 们 对 强大 的 计算 能 力 和 存储 空间 的 需要 又 然 增 加 ， 而 公共 云 供 应 商 恰 好 满足 了 这 些 需 要 。 但 是 在 云 服 务 发 展 的 同 
时 ,数据 传输 和 信息 提速 的 费用 也 水 涨 船 高 ， 对 于 时 间 要 求 紧迫 的 关键 性 服务 来 说 ， 这 无 疑 是 个 来 手 的 问题 。 因 此 ， 众 多 物 联网 
项 目 正 在 将 这 种 运算 能 力 散布 到 网 络 的 各 个 边缘 、 数 据 中 心 、 和 公共 云 当中 。 


物 联网 经 历 了 早期 虚无 强 纳 的 设想 ， 如 今 已 在 人 们 生活 中 新 露头 角 。 通 过 云 计算 与 雾 计算 的 联合 ， 相 信物 联网 的 发 展 定 会 去 
开 雾 散 ， 迎 来 科技 创新 的 新 曙光 。 


云 计 算是 一 种 按 使 用 量 付费 的 服务 模式 ， 这 种 模式 提供 可 用 的 、 便 捷 的 、 按 需 的 网 络 访问 。 云 计算 可 配置 的 计算 资源 共享 
池 ， 够 快速 提供 计算 服务 、 存 储 服务 ， 用 户 只 需 投入 很 少 的 管理 工作 ， 或 与 服务 供应 商 进行 很 少 的 交互 即 可 满足 需求 。 


云 计算 是 谷歌 公司 在 2006 年 的 搜索 引擎 大 会 上 首次 提出 的 ， 经 过 了 几 年 的 探索 期 ， 直 到 2011 年 才 为 人 们 所 熟知 。 


以 往 我 们 为 了 计算 得 更 快 ， 不 断 追求 设计 更 高 性 能 的 计算 机 ， 但 是 计算 机 元 器 件 技术 的 发 展 是 缓慢 的 ， 要 大 幅 提升 单机 计算 
能 力 ， 就 只 能 通过 建造 超级 数据 中 心 、 研 发 巨型 机 来 实现 ， 这 些 方法 都 有 相当 的 局 限 性 。 为 了 解决 这 样 的 问题 ， 谷 歌 想到 了 可 
以 利用 网 络 将 所 有 的 计算 机 连接 起 来 ， 然 后 通过 软件 去 分 配 计算 ， 让 干 万 台 计 算 机 同时 计算 ， 然 后 得 到 最 终 的 结果 ， 这 样 的 计算 
方法 就 是 云 计 算 。 云 计算 只 要 求 计 算 机 数量 足够 多 ， 网 络 带宽 足够 大 就 可 以 得 到 超 高 速 的 计算 能 力 ， 这 相当 于 同时 使 用 干 万 台 计 
算 机 同时 解 一 道 计算 题 。 

云 计 算 的 诞生 意味 着 计算 能 力也 可 以 作为 一 种 商品 进行 流通 ， 就 像 煤 气 、 水 电 一 样 ， 取 用 便捷 ， 费 用 低廉 ， 最 大 的 不 同 在 于 
云 计 算是 通过 互联 网 来 传输 的 。 

云 计 算 允 许 人 们 高 效 但 可 以 廉价 地 分 享 昂 贵 的 服务 器 资源 ， 减 轻 企业 用 户 的 负担 ， 但 是 同时 也 意味 着 它 需 要 建设 超大 型 数据 
中 心 ， 购 买 造 价 高 昂 的 服务 器 。 然 而 数据 中 心 现 有 的 发 展 根本 满足 不 了 云 计 算 的 高 层 算法 ， 这 就 为 雾 计算 的 产生 提供 了 空间 。 


雾 计 算 提供 了 当地 节点 分 布 的 地 理 位 置信 息 ， 信 息 传递 的 时 延 非 常 低 ， 而 云 计算 则 提供 了 中 心 化 的 全 局 信息 。 许 多 应 用 既 需 
要 “ 雾 ” 也 需要 “ 云 ”。 例如， 大 数据 技术 里 的 数据 分 析 ， 首 先 通过 M2M (机 器 与 机 器 之 间 通 信 ) 把 传 感 得 到 的 数据 进行 处 理 
和 过 滤 ， 然 后 放 到 HMI (人 机 界面 ) 这 一 层 进 行文 本 化 及 视觉 化 处 理 ， 可 以 让 用 户 清晰 地 理解 所 有 分 析 过 的 数据 资料 。 


在 云 计算 里 ， 如 果 能 时 刻 保证 服务 器 在 数据 处 理 后 能 够 及 时 发 送 到 终端 设备 ， 那 么 云 计算 可 以 说 是 完美 的 解决 方案 。 


9.5.2 ” 雾 计 算 


雾 计算 是 以 个 人 云 、 私 有 云 、 企 业 云 等 小 型 云 为 主 ， 这 和 云 计 算 完 全 不 同 。 
由 于 雾 计 算 的 时 延 极 低 ， 大 数据 分 析 任 务 可 以 用 手机 来 完成 ， 真 正 做 到 了 “移动 数据 分 析 ”。 


在 物 联网 将 成 为 下 一 代 互 联网 的 大 趋势 下 ， 云 计算 本 质 上 的 一 些 缺 点 越 来 越 明 显 ， 如 不 能 支持 高 移动 性 、 不 支持 地 理 位 置信 
息 及 高 时 延 等 。 雾 计算 正好 能 够 解决 这 些 问 题 ， 补 足 了 云 计 算 的 短 板 ， 同 时 又 可 带 来 大 量 新 应 用 和 新 服务 。 


雾 计 算 使 所 需 的 带宽 量 大 大 降低 ， 大 大 减轻 了 云 网 络 的 流量 负担 。 智 能 交通 系统 、 智 能 电网 、 智 能 汽车 甚至 健康 医疗 系统 
， 如 果 都 是 本 地 处 理 数据 ， 只 把 最 重要 的 数据 传 到 云端 的 话 ， 将 变 得 非常 高 效 ， 同 时 也 可 节省 了 大 量 成 本 。 


向 


雾 计 算 并 不 与 云 计算 形成 竞争 ， 而 可 以 看 作 是 云 计 算 的 延伸 。 从 这 个 意义 上 来 说， 一 些 公司 利用 装备 了 无 线 通信 设备 的 无 人 
机 、 热 气球 ， 给 偏远 地 区 提供 宽带 网 络 服务 ， 也 可 以 算 为 一 种 雾 计算 ， 而 这 种 雾 计算 真 的 很 形象 : 漂浮 在 用 户 和 云彩 之 间 ， 有 
点 “ 雾 ” 的 味道 。 


雾 计算 的 处 理 能 力 放 在 LAN 内 雾 节点 的 loT 网 关 、loT 设 备 上 ， 用 于 数据 收集 、 处 理 、 和 存储。 多 种 来 源 的 信息 收集 到 雳 端 节点 
上 ， 经 过 处 理 后 的 数据 发 送 回 需要 该 数据 的 设备 上 。 


雾 计 算 没有 强力 的 计算 能 力 ， 只 有 一 些 弱 的 、 零 散 的 计算 能 力 。 雾 计算 是 介 于 云 计算 和 个 人 计算 之 间 的 半 虚 拟 化 的 计算 架构 
服务 模型 。 


9.5.3 ”边缘 计算 


从 2015 年 开始 ， 以 边缘 计算 、 雾 计算 为 特点 的 嵌入 式 人 工 智能 技术 开始 受到 重视 ， 它 们 的 作用 可 以 优化 资源 、 提 升 效率 。 


边缘 计算 概念 已 经 普遍 存在 于 工业 物 联网 应 用 、 制 造 业 、 零 售 、ATM 机 、 智 能 手机 和 虚拟 现实 等 领域 。 这 一 概念 的 核心 是 
处 理 任务 时 ， 在 网 络 端点 或 接近 网 络 端点 的 地 方 完成 一 部 分 计算 和 分 析 ， 而 无 顷 将 所 有 数据 发 回 云端 。 算 法 和 模型 可 以 在 云端 建 
立 ， 然 后 推送 到 边缘 设备 上 。 


把 云 计 算 的 能 力 推 到 网 络 边缘 ， 数 据 计算 在 设备 端 完成 叫做 边缘 计算 ， 在 网 关 或 路 由 器 端 完成 的 数据 计算 叫做 雾 计算 。 物 联 
网 的 节点 可 能 是 家 里 的 空调 ， 也 可 能 是 路 由 器 ， 在 这 些 节 点 上 直接 做 一 些 原来 在 云端 做 的 计算 服务 。 通 过 将 原来 在 云端 的 计算 ， 
灵活 地 放 到 物 联网 的 未 梢 ， 通 过 网 天 、 路 由 器 及 设备 本 身 的 通信 模块 ， 如 WiFi 模 块 、 蓝 牙 模块 等 完成 部 分 计算 功能 。 


边缘 计算 进一步 推进 了 LAN 内 雾 计算 处 理 能 力 的 理念 ， 其 处 理 能 力 更 靠近 数据 源 ， 不 是 在 中 央 服 务 器 里 整理 后 实施 处 理 ， 而 
是 在 网 络 内 的 各 设备 处 实施 处 理 。 


例如 ， 通 过 把 传感器 连接 到 可 编程 自动 控制 器 (PAC) 上 ， 使 处 理 和 通信 的 成 功 成 为 可 能 。 


和 和 雾 计算 相 比 ， 边 缘 计 算 性 质 单一 、 故 障 点 比较 少 ， 设 备 各 自 独立 动作 ， 可 以 判断 什么 数据 保存 在 本 地 ， 什 么 数据 被 发 到 云 
端 。 以 吸尘器 为 例 ， 边 缘 计算 的 解决 方案 里 传感器 各 自 判断 有 没有 志 圾 ， 来 发 送 启动 吸尘器 的 信号 。 


物 联网 1oT 在 我 们 的 生活 中 越 来 越 广泛 ， 将 来 接触 的 机 会 也 会 更 多 ， 只 记录 数据 的 传感器 已 经 落伍 了 ， 具 有 边缘 计算 能 力 的 
传感器 才 是 未 来 发 展 方向 。 


十 年 来 ， 云 计算 备 受 瞩 目 ， 它 提供 给 了 新 的 计算 模型 ， 方 便 了 服务 的 部 署 。 但 云 并 不 是 终点 ， 未 来 仍 会 有 新 的 计算 模型 推动 


新 的 服务 ， 云 、 雾 、 物 共同 组 成 的 物 联网 生态 系统 ， 将 进一步 方便 人 们 的 生活 。 


9.5.4” 才 计算 


如 今 无 论 是 在 科技 领域 还 是 社会 生活 领域 ， 概 念 先行 已 经 是 一 种 非常 普遍 的 现象 。2006 年 云 计算 概念 被 首先 提出 ，2011 年 
思科 举一反三 ， 提 出 了 雾 计算 等 概念 。 有 云 就 有 雾 ， 有 雾 就 有 者 ， 罗 计算 的 概念 也 顺理成章 地 诞生 了 。 


2006 年 8 月 9 日 ， 谷 歌 首 席 执 行 官 埃 里 克 ` 施 密 特 (Eric Schmidt) 在 搜索 引擎 大 会 (SES San Jose2006) 上 首次 提出 “ 云 计 
算 ” 的 概念 ， 咨 询 公司 埃 森 哲 (Accenture) 给 出 了 关于 云 计算 的 一 个 实用 、 简 洁 的 定义 : 第 三 方 提供 商 通 过 网 络 动态 提供 及 配 
置 IT 功能 (硬件 、 软 件 或 服务 ) 。 


雾 计 算是 云 计算 的 延伸 概念 ， 由 思科 公司 首创 。 


猎 计 算 概念 的 提出 者 还 没有 考查 出 来 。 莉 计算 可 以 简单 理解 为 垃圾 云 计算 或 垃圾 雾 计算 ， 因 为 云 计 算 或 雾 计算 虽然 先进 ,但 


才 计 算 的 概念 可 以 很 好 地 形容 比较 差 的 云 计算 或 者 雾 计算 ， 如 果 “ 云 ”或 “ 雾 ”提供 的 服务 ， 人 存在 着 丢失 泄露 、 传 输 不 稳 
定 、 费 用 严重 超支 等 问题 ， 其 优势 可 能 远 不 如 对 用 户 的 伤害 ， 恰 如 “ 懂 ” 对 人 体 健康 的 危害 。 


当然 ， 无 论 是 “ 云 ” 还是“ 雾 ”， 都 不 想 成 为 “ 霜 ”。 但 是 以 上 这 些 问 题 却 事实 地 存在 着 ， 如 果 没 有 慎重 的 预防 及 认真 的 解 
决 ， 随 时 可 以 由 “ 云 ” 或 “ 雾 ” 变 成 “ 霸 ”。 有 目前 云 计算 、 雾 计算 方兴未艾 ， 相 关 市 场 还 很 不 成 熟 ， 随 着 云 计算 和 雳 计算 的 深入 
发 展 ， 各 种 问题 也 会 接 旦 而 来 ， 如 何 预防 、 解 决 这 些 问 题 ， 已 经 被 提 到 日 程 表 的 重要 位 置 了 。 但 就 目前 的 云 计算 安全 问题 来 看 ， 


这 些 问 题 仍 是 非常 轴 手 的 全 球 性 问题 ， 因 为 目前 很 多 云 服务 提 供 商 还 缺乏 实际 的 安全 规划 。 


9.5.5 ” 流 计算 


流 计算 对 大 规模 流动 数据 ， 在 不 断 变 化 的 运动 过 程 中 实时 地 进行 分 析 ， 捕 捉 到 可 能 有 用 的 信息 ， 并 把 结果 发 送 到 下 一 计算 节 


No 


流 形式 的 数据 可 源 自 结构 化 数据 源 或 非 结构 化 数据 源 ， 可 能 包含 各 种 数字 信号 。 网 络 运 营 商 针对 流 数 据 的 实时 分 析 ， 组 织 实 
时 响应 ， 发 起 事件 警报 。 流 计算 可 以 过 滤 海 量 数 据 并 识别 丰富 的 高 价值 信息 ， 从 而 支持 更 灵活 且 更 敏捷 的 业务 流程 ， 进 行 实时 数 
据 关联 和 数据 汇总 ， 支 持 数据 中 心 更 快 地 做 出 响应 。 流 计算 其 实 是 针对 特定 数据 的 一 种 计算 方法 ， 不 关心 计算 的 设备 是 聚集 在 一 
起 还 是 分 离 的 ， 也 不 关心 计算 设备 性 能 如 何 ， 是 一 种 非 结构 性 数据 的 计算 方法 。 


9.6 “ 雾 计算 产业 


雾 计 算 不 是 虚拟 名 词 、 学 术 概 念 。 雾 计算 产业 已 经 开始 布局 ， 雾 计算 设备 已 经 面世 ， 雾 计算 应 用 实例 已 经 成 功 部 署 。 


9.6.1 产业 布局 


在 “2017 中 国 (上 海 ) 国际 物 联 网 大 会 ”上 ， 国 际 雾 计算 产 学 研 联盟 大 中 华 区 委员 会 主任 、 上 海 雾 计算 实验 室 主 任 杨 电 教 
授 强调 ， 雾 计算 已 经 成 为 国际 研究 热点 ， 我 国 的 雾 计算 技术 研究 和 产业 布局 必须 与 国际 同行 同步 开展 。 


在 “2017 中 国 (上海) 国际 物 联网 大 会 ”现场 ， 有 一 个 关于 雾 计算 的 演示 。 演 示 中 用 英特尔 公司 出 品 的 一 个 迷你 个 人 电脑 
(相当 于 一 个 “ 雾 ” 的 硬件 计算 节点 ) ， 用 软件 定义 网 络 (SDN) 技术 实现 了 LTE 接 入 网 和 核心 网 功能 ， 可 以 直接 与 多 部 LTE 终 
端 进行 互联 互通 。 许 多 数据 处 理 功 能 和 用 户 应 用 都 可 以 在 这 个 迷你 电脑 上 实现 ， 使 用 不 同 的 软件 ， 就 可 以 就 近 满 足 不 同 用 户 的 雾 


计算 需求 。 


雾 计算 的 创新 在 于 计算 资源 的 释放 和 共享 。 只 要 有 人 愿意 共享 ， 雾 计算 的 节点 就 在 我 们 身边 ， 有 些 信 息 经 过 分 布 式 雳 计算 之 
后 不 需要 再 传送 到 云端 了 ， 从 而 极 大 地 减少 了 发 送 到 云端 的 数据 量 ， 计 算 时 延 也 大 大 降低 ， 可 以 更 好 地 满足 实时 计算 的 需求 。 


正 是 基于 对 雾 计算 广阔 前 景 的 敏锐 洞察 ,ARM、 思 科 、 戴 尔 、 英 特 尔 、 微 软 和 普林斯顿 大 学 于 2015 年 11 月 共同 建立 了 国际 
雾 计算 产 学 研 联 盟 ， 中 科 院 上 海 微 系 统 与 信息 技术 研究 所 是 我 国 第 一 个 加 入 此 联盟 的 单位 。 目 前 该 联盟 在 我 国 已 有 10 多 家 本 地 
成 员 ， 包 括 上 海 科技 大 学 、 富 士 康 等 高 校 和 企业 。 


据悉 ， 中 科 院 上 海 微 系统 与 信息 技术 研究 所 与 上 海 科 技 大 学 联合 成 之 了 “上 海 雾 计算 实验 室 ” ， 上 旨 在 打造 具有 独特 优势 的 雾 
计算 研究 基地 ， 加 快 建设 具有 全 球 影响 力 的 科技 创新 中 心 。 


9.6.2” 雾 计算 参与 物 联网 布局 势 在 必 行 


为 了 承载 和 处 理 物 联网 终端 设备 产生 的 海量 数据 信息 ， 云 平台 建设 在 持续 加 速 地 进行 着 。 然 而 ， 云 计算 难以 独自 胜任 物 联网 
异常 艰巨 的 数据 处 理 任务 。 因 此 ， 雾 计算 (边缘 计算 ) 参与 产业 布局 势 在 必 行 。 云 计算 与 雾 计算 的 合理 分 工 与 密切 配合 ， 将 开启 
一 个 更 加 美好 的 物 联网 时 代 。 


放眼 全 球 ， 当 前 的 物 联网 部 署 工作 可 谓 如 火 如 茶 ， 各 大 专业 市 场 调研 机 构 频 频 发 出 乐观 的 研究 报告 ， 预 测 接 下 来 的 10 年 物 
联网 产业 将 迎 来 爆发 式 增长 ， 物 联网 设备 数量 将 达到 干 亿 台 以 上 规模 。 为 了 承载 和 处 理 物 联网 终端 设备 产生 的 海量 数据 信息 ， 各 
国 的 云 平台 建设 也 在 持续 加 速 进行 之 中 。 然 而 ， 这 个 布局 结构 存在 着 一 个 明显 的 问题 ， 并 且 在 物 联网 的 初 兴 阶 段 就 已 暴露 出 来 ， 
那 就 是 云 计 算 难 以 独自 胜任 物 联网 异常 艰巨 的 数据 处 理 任务 。 因 此 ， 雾 计算 和 边缘 计算 的 参与 就 成 为 势 在 必 行 的 。 


随 着 物 联网 设备 和 用 户 数量 的 迅速 增长 ， 云 平台 计算 能 力 还 有 待 提高 ， 网 络 带宽 泪 颈 日 益 凸显 。 解 决 之 道 或 许 并 不 在 于 极力 
提升 云 计算 能 力 。 先 不 说 云 计 算 的 进步 能 否 跟 得 上 物 联网 增长 的 速度 ， 即 使 二 者 能 同步 前 进 ， 但 规模 异常 庞大 的 云 平台 也 会 引 发 
能 耗 过 大 、 效 率 减 慢 等 新 问题 。 因 此 ， 用 雾 计算 为 云 计算 减负 为 优选 。 根 据 每 台 物 联网 设备 的 功能 和 产生 信息 量 的 大 小 ， 为 其 配 
备 相应 的 边缘 计算 能 力 ， 这 样 用 户 无 须 上 传 信息 到 云端 、 等 待 反馈 ,可 以 及 时 得 到 同等 效果 的 服务 ， 并 且 节 省 了 能 源 。 


比 起 降低 能 耗 和 提高 效率 ， 雾 计算 对 物 联网 更 重要 的 意义 在 于 保护 用 户 的 隐私 与 安全 。 为 了 提供 服务 ， 物 联网 终端 设备 的 传 
感 器 可 能 会 在 人 们 不 知 不 党 中 持续 收集 着 用 户 的 数据 信息 。 这 些 信 息 如 果 全 部 上 传 到 公共 的 云 平台 进行 处 理 再 接收 反馈 ， 那 么 人 
们 的 隐私 就 难以 排除 在 信息 输送 过 程 中 被 黑客 截获 并 非法 利用 的 可 能 。 雾 计算 则 取消 了 这 种 信息 传输 的 必要 性 ， 它 使 得 每 一 台 终 
端 设 备 都 拥有 数据 分 析 能 力 ， 可 以 在 自身 形成 的 “信息 孤岛 ”内 把 工作 完成 ， 使 用 户 远 离 了 公共 网 络 空间 中 潜在 的 那些 威胁 。 


形成 安全 的 “信息 孤岛 ”对 于 工业 级 用 户 来 说 尤为 重要 。 黑 客 对 连接 着 众多 机 械 设备 的 工业 物 联网 的 攻击 一 旦 得 府 ， 可 能 会 
造成 商业 机 密 泄露 ， 对 工厂 造成 巨大 的 损失 。 因 此 ， 加 强 单 台 工业 设备 的 边缘 计算 能 力 尽量 减少 向 公共 云 平台 输送 数据 ， 是 维护 
工业 物 联网 安全 的 有 效 思路 。 


新 创 企业 IloTium 就 针对 工业 物 联 网 推出 了 最 新 的 “网 络 即 服务 ”产品 ， 将 分 析 能 力 部 署 在 网 络 边缘 ， 以 解决 厂商 普遍 的 资 
产 安全 问题 。 


人 们 时 常 抱 怨 自 己 购买 的 智能 产品 不 够 智能 ， 是 些 智 能 半成品 ， 总 需要 其 他 工具 辅助 才能 提供 完整 的 服务 。 如 果 物 联网 设备 
所 有 数据 都 上 传 至 云端 进行 处 理 的 格局 不 被 打破 的 话 ， 这 样 的 抱怨 将 会 一 直 存 在 。 雾 计算 的 加 盟 可 以 有 效 改 变 这 一 现状 ， 赋 予 每 
一 个 物 联 网 设备 较 强 的 独立 处 理 信息 的 能 力 ， 完 善 客户 的 智能 体验 。 


雾 计 算 可 利用 靠近 终端 的 设备 进行 数据 处 理 ， 从 而 有 效 改 善 物 联网 庞大 的 信息 量 传送 至 云 计 算 中 心 时 引发 的 占用 带宽 过 多 或 
负载 过 重 的 情况 。 雾 计算 通过 将 计算 、 通 信 、 控 制 和 存储 资源 与 服务 ， 分 配给 离 用 户 或 数据 源 最 近 的 设备 和 系统 ， 可 以 帮助 实现 
云 能 力 的 延伸 和 拓展 ， 从 而 提供 统一 的 端 到 端 、 云 + 雾 平台 的 服务 和 应 用 。 利 用 开放 的 标准 方法 ，OpenFog 架 构 将 云端 的 智能 
与 物 联网 终端 无 颖 联合 在 一 起 ， 从 传统 封闭 式 系统 及 依赖 云 计算 的 模型 ， 进 化 成 为 一 种 全 新 的 计算 模型 ， 如 图 9.11 所 示 。 


国际 雾 计算 产 学 研 联盟 主席 Helder Antunes 表 示 : 物 联网 互 连 、 机 器 与 机 器 的 通信 、 实 时 计算 需求 和 联网 设备 需求 正 驱 动 
雾 计算 市 场 不 断 发 展 。 多 元 化 物 联网 技术 应 用 普及 和 产业 发 展 ， 充 分 释放 了 雾 计算 的 无 限 潜力 ， 合 力 构建 了 物 联 网 产业 新 生态 。 
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图 9-11 OpenFog 架 构 将 云 计算 、 雾 计算 和 物 联网 终端 联合 在 一 起 


9.6.3” 雾 计算 的 商业 价值 


1. 低 功 耗 ， 大 幅 降低 成 本 


云 计 算 把 大 量 数 据 放 到 云端 计算 或 存储 ， 云 的 核心 是 装 有 大 量 服务 器 和 存储 器 的 数据 中 心 。 云 计算 全 球 数据 中 心 用 电功率 相 
当 于 30 个 核电 站 ， 数 据 中 心 的 电力 消耗 已 经 成 为 云 平台 的 重要 成 本 ， 其 中 冷却 系统 占有 不 可 忽视 的 比重 。 雾 计算 节点 地 理 位 置 
分 散 ， 不 会 集中 产生 大 量 热量 ， 不 需要 额外 的 冷却 系统 ， 从 而 减少 了 耗 电 量 ， 节 约 了 成 本 。 


2. 低 延 时 互动 ， 提 升 用 户 体验 
雾 计 算 靠近 用 户 和 商业 部 署 ， 起 到 了 一 个 频繁 使 用 的 数据 库 的 作用 ， 低 延 时 人 存储， 运算 、 通 信 更 轻 量 ， 反 应 更 快 。 
3. 助 力 移动 业务 布局 ， 实 时 移动 数据 分 析 


手机 和 其 他 移动 设备 之 间 可 以 直接 通信 ， 信 号 不 必 到 云端 甚至 基站 上 绕 一 圈 ， 因 此 可 以 支持 很 高 的 移动 性 ， 能 够 满足 更 为 广 
泛 的 节点 ， 让 设备 自身 或 者 中 间 设 备 来 分 析 和 处 理 物 联网 生成 的 海量 数据 ， 真 正 做 到 移动 数据 分 析 。 


4. 去 中 心 化 地 理 分 布 ， 满 足 万 物 互联 硬 需 


物 联网 发 展 的 最 终结 果 就 是 万 物 互 联 。 这 些 设备 不 仅 数 量 巨大 ， 而 且 分 布 广泛 ， 只 有 雾 计算 才能 满足 。 例 如 车 联网 应 用 和 部 
署 要 求 有 丰富 的 连接 方式 和 相互 作用 ， 车 到 车 、 车 到 接 入 点 等 。 雾 计算 能 够 提供 丰富 的 车 联网 服务 ， 如 娱乐 信息 、 安 全 警示 、 交 
通 保障 、 数 据 分 析 、 城 市 和 公路 沿线 情况 等 。 


5. 安 全 可 靠 ， 保 护 商 业 数 据 隐私 
' 保障 用 户 正 常 使 用 。 雾 节点 拥有 广泛 的 地 域 分 布 ， 即 使 某 一 区 域 的 服务 异常 ， 用 户 也 能 快速 转向 其 他 临近 节点 。 


. 无 升级 风险 。 传 统 设备 远程 升级 效率 低 ， 存 在 固件 升级 失 联 风险 等 弊端 。 雾 计算 不 需要 将 系统 OTA 固 件 升级 ， 只 需 更 新 
雾 端的 算法 和 微 应 用 即 可 。 


.加密 隔离 ， 保 护 数据 。 雾 节点 临近 最 终 用 户 及 边缘 位 置 ， 因 此 必须 首先 进行 访问 控制 和 加 密 措 施 ， 提 供 完 善 的 隔离 防护 ， 
控制 隐私 敏感 的 数据 ， 保 护 数 据 安全 。 


9.6.4 智慧 城市 对 雾 计算 、 边 缘 计 算 的 需 


将 雾 计算 与 智慧 城市 连接 起 来 ， 需 要 大 量 传感器 与 基础 设施 的 部 署 。 


智慧 城市 的 雾 (Fog) 意味 着 什么 ”答案 是 连接 基础 设施 并 分 析 生 成 数据 。 例 如 ， 在 人 群 高 流量 区 域 需 要 利用 传感器 进行 数 
据 分 析 ， 以 便 在 人 员 密度 超过 一 定量 的 情况 下 报警 。 同 时 要 确保 真 的 危及 安全 时 才 发 出 警报 。 这 是 一 个 为 应 用 场景 提供 分 析 服 务 
的 问题 。 边 缘分 析 涉 及 网 络 边 缘 的 其 他 雾 节 点 ， 智 能 雾 节 点 可 以 提供 计算 、 分 析 和 人 存储 功能 ， 而 使 雾 节 点 上 的 设备 能 够 更 快 地 执 
行 数据 分 析 。 如 图 9.12 所 示 为 不 同 的 物 联网 (IloT) 设备 不 同 的 计算 能 力 分 类 。 


云 〈 因 特 网 ) 高 端 计算 设备 低 端 计算 设备 汇聚 点 传 感 节点 /网 络 低 端 
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图 9-12” 物 联网 (IoT) 设备 根据 其 计算 能 力 进 行 分 类 


— 


网 络 已 经 成 为 平台 ， 它 不 是 服务 器 或 者 云端 。 雾 计算 的 硬件 使 微服 务 与 网 络 边缘 应 用 相 结合 ， 提 供 数 据 解 析 功 能 


边缘 计算 是 开发 智能 城市 有 效 解决 方案 的 关键 。 在 数据 均匀 存储 之 前 ， 对 loT 传 感 器 生成 的 数据 采取 分 析 行 动 的 能 力 有 很 大 
的 商业 价值 。 这 需要 在 靠近 数据 收集 点 的 位 置 进行 分 析 。 


设想 这 样 一 个 应 用 场景 : 摄像 机 和 声学 传感器 可 以 生成 数据 ， 以 警告 司机 或 交通 事故 的 第 一 反应 者 ， 并 可 以 触发 事故 现场 的 
高 


路 灯 ， 提 高 其 亮度 。 可 以 证 明 ， 这 个 场景 说 明了 数据 之 间 的 互 连 性 和 设备 间 的 可 操作 性 。 


执行 智能 处 理 的 基础 设施 是 连 网 设备 ， 由 其 采集 数据 ， 完 成 计算 ， 执 行 控制 动作 。 这 意味 着 边缘 设备 可 以 指示 车 灯 照 明 更 亮 
或 控制 警笛 发 出 警报 。 基 础 设施 的 双向 通信 和 意味 着 智慧 城市 有 能 力 将 计算 策略 和 软件 更 新 推送 到 网 络 的 边缘 。 
如 图 9.13 所 示 ， 在 智能 城市 等 应 用 场景 中 ， 云 计算 、 边 缘 计算 、 雾 计算 等 处 理 的 内 容 和 对 象 各 不 相同 ， 它 们 之 间 可 以 相互 协 
图 9.13 展 示 了 雾 计算 作为 边缘 设备 (可 穿戴 ) 和 云 (后 端 ) 和 云 计算 之 间 的 中 间 计 算 层 。 雾 计算 通过 在 边缘 设备 附近 提供 计 
算 能 力 来 提高 整体 运营 效率 。 这 种 框架 对 于 可 穿戴 设备 (用 于 医疗 保健 、 健 身 和 健康 跟踪 ) 、 智 能 电网 、 智 能 城市 和 居家 生活 辅 
等 云 计算 服务 都 是 有 帮助 的 。 
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图 9-13 云 计算 、 雾 计算 、 边 缘 计 算 协同 工作 
如 图 9.14 展 示 了 基于 雾 计 算 的 各 种 应 用 场景 : 
. 图 9.14a 所 示 为 不 同类 型 的 农业 现场 可 以 安装 传 感 装置 ， 以 监测 种 子 和 植物 的 生长 情况 。 
" 图 9.14b 所 示 为 传感器 部 署 在 智能 城市 的 公交 车 中 ， 人 员 出 行 数据 将 根据 数据 消费 者 提供 的 情境 信息 和 条 件 进 行 收集 。 


* 图 9.14c 所 示 为 穿戴 式 传感器 监测 在 公共 场所 (如 公园 ) 进行 锻炼 的 人 员 。 相 当 部 门 可 以 通过 该 类 数据 分 析 进 一 步 规 划 和 
升级 相关 的 基础 设施 。 
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a) 农场 安装 传感器 检测 作物 生长 c) 可 穿戴 传感器 检测 公园 锻炼 人 员 情 况 


图 9-14 基于 雾 计算 的 各 种 应 用 场景 


9.7” 雾 计算 妆 备 


雾 计算 装备 的 涵盖 范围 应 该 包括 信息 采集 设备 、 信 息 处 理 设备 、 信 息 传 输 设 备 和 执行 机 构 等 。 


9.7.1 “ 雾 计 算 服 务 器 


雾 计算 服务 器 可 以 是 迷你 微型 计算 机 ， 也 可 以 是 嵌入 式 计算 机 ， 通 过 一 块 电路 板 就 能 装载 一 个 完整 的 计算 机 系统 。 


例如 ， 把 雾 计算 模型 应 用 于 教育 系统 的 智慧 云 教室 中 ， 选 取 路 由 器 作为 雾 计算 服务 器 ， 实 现 了 数据 共享 的 功能 。 这 种 路 由 器 
可 以 连接 屏幕 、 键 盘 、 硬 盘 ， 是 谋 入 式 计 算 机 + 路 由 器 的 组 合 . 


通过 实验 ， 验 证 了 雾 计算 的 加 入 能 够 有 效 减少 智能 终端 与 云 服 务 器 之 间 由 于 数据 传输 引起 的 时 延 ， 极 大 提升 了 整个 网 络 的 性 
能 ， 改 善 了 用 户 的 实际 使 用 体验 。 


9.7.2 “ 雾 计 算 路 由 器 


随 着 市 场 的 发 展 ， 人 们 对 路 由 器 的 需求 层次 也 有 所 提升 ， 除 了 性 价 比 之 外 ， 是 否 具有 优秀 的 产品 理念 成 了 人 们 选择 的 新 标 
准 。 那 么 如 何 判断 一 款 路 由 器 具有 优秀 的 产品 理念 呢 ? 


大 多 数 的 路 由 器 厂商 都 会 从 硬件 配置 和 功能 完善 度 等 方面 进行 宣传 ， 因 此 人 们 对 路 由 器 的 认 知 ， 几 乎 就 停留 在 “WiFi 信 号 
发 射 机 ”这 个 层面 上 。 而 一 款 以 “智能 路 由 领域 第 一 个 雾 计算 模型 ”为 卖点 的 路 由 器 恰恰 突破 了 这 个 局 限 。 这 款 路 由 器 产品 名 为 
newifi 新 路 由 3，2016 年 10 月 上 市 ， 同 一 时 间 内 “ 雾 计算 ” 概 念 借助 其 “宝石 矿 场 ”功能 在 智能 路 由 器 领域 生根 。 


雾 计算 的 实现 ， 必 须 依 赖 网 络 边缘 的 处 理 中 心 ， 而 在 边缘 化 的 网 络 设备 中 ， 路 由 器 可 以 说 是 雾 计 算 概念 的 最 佳 载体 ， 因 为 路 
由 器 几乎 深入 每 一 个 单位 、 企 业 、 家 庭 中 。 


newifi 新 路 由 选择 走 雾 计算 这 条 路 ， 使 其 拥有 百 万 用 户 数 ， 占 据 了 独一无二 的 市 场 优势 。 在 为 实现 雾 计算 计划 而 布局 的 分 布 
式 CDN (Content Delivery Network， 内 容 分 发 网 络 ) 宽带 加 速 项 目 中 ， 所 有 开启 “宝石 矿 场 ”功能 的 newifi 新 路 由 用 户 都 将 
变 身 成 为 微型 的 CDN 服 务 器 ， 营 造 一 种 全 民 加 速 的 氛围 。 因 此 有 这 种 可 能 : 为 你 的 家 庭 网 络 提供 加 速 服务 的 微型 CDN ， 恰 好 是 
邻居 家 的 路 由 器 。 由 此 可 见 ，“newifi 雾 计算 ”的 布局 将 很 大 可 能 实现 全 民 网 络 加 速 的 效果 。 


从 用 户 得 益 方面 说 ，“newifi 雾 计算 ”战略 布局 ， 是 通过 收集 社会 闲置 带宽 并 利用 的 过 程 ， 帮 助 建设 网 络 高 速 路 ， 为 用 户 带 
来 更 加 高 速 的 上 网 体验 。 另 一 方面 ， 开 启 “ 宝 石 矿 场 ”功能 加 入 到 “newifi 雾 计算 ”计划 中 的 用 户 ， 将 凭借 分 享 出 的 闲置 带宽 获 
取 相 应 收益 ， 同 时 这 个 过 程 ， 可 以 用 “ 挖 矿 ” 来 表示 。 也 就 是 说 ， 只 要 将 newifi 新 路 由 器 3 带 回 家 后 ， 连 接 上 一 个 大 于 200GB 的 
硬盘 ， 就 可 以 在 newifiAPP 上 一 键 开 启 “ 挖 矿 ” 功 能 。 据 真实 “ 挖 矿 ” 用 户 反 馈 ， 大 部 分 用 户 每 月 的 “ 挖 矿 ” 收 益 可 以 抵消 每 月 
的 完 带 费 。 


通过 对 newifi 新 路 由 雾 计算 的 了 解 ， 我 们 知道 了 为 何 “ 宝 石 矿 场 ”功能 会 如 此 受 欢 迎 。 首 先 闲置 带宽 变 网 费 的 机 制 让 社会 闲 
置 带宽 资源 充分 利用 ， 再 则 分 布 式 CDN 项 目的 布局 打造 的 是 一 种 共 赢 的 模式 ， 广 商 、CDN 服 务 商 及 网 民 都 将 是 其 受益 者 。 由 此 
可 见 ， 这 款 带 着 雾 计算 标签 的 新 路 由 器 势必 会 受到 市 场 的 关注 和 认可 。 如 图 9.15 至 图 9.17 所 示 为 newifi 新 路 由 器 的 “宝石 矿 


场 ”功能 共享 带宽 ， 节 省 流量 资费 情况 等 截图 。 
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图 9-16 ”基于 雾 计算 架构 的 智能 路 由 器 实物 图 


图 9-17 雾 计 算 路 由 器 改善 网 络 速 度 ， 提 高 物 联网 服务 可 用 性 


newifi 雾 计算 路 由 器 ， 完 成 了 一 次 CDN 价 值 链 的 蝶 变 。 


雾 计算 目前 已 经 成 为 路 由 界 专业 人 士 的 研究 重点 ， 雾 计算 和 云 计 算 有 很 多 相似 处 ， 它 们 都 是 基于 虚拟 化 技术 ， 更 加 合理 地 分 


配 共享 资源 池 中 的 资源 ， 从 而 为 更 多 用 户 服务 。 雾 计算 依靠 网 络 拓扑 结构 中 更 加 低层 次 的 微型 数据 中 心 ， 这 些微 型 数据 中 心 可 能 
是 家 庭 中 使 用 的 路 由 器 ， 也 可 能 是 人 们 手中 的 某 台 电子 设备 ， 而 并 非 是 传统 意义 上 的 无 数 台 具备 超大 存储 及 计算 能 力 的 计算 机 。 
这 种 计算 能 力 的 下 放 ， 大 大 减轻 了 核心 数据 中 心 负载 ， 更 加 有 利于 输出 结果 的 精准 性 ， 提 升 了 计算 效率 。 


newifi 新 路 由 提出 的 newifi 雾 计算 概念 ， 实 质 上 是 对 雾 计算 核心 概念 进行 具象 化 的 产物 ， 将 雾 计算 核心 概念 与 云 CDN 进 行 融 
合 ， 领 先 一 步 创 建 了 智能 路 由 界 第 一 个 雾 计 算 模型 : newifi 分 布 式 CDN 网 络 加 速 。 


分 布 式 CDN 网 络 加 速 项 目 赁 借 其 巨大 的 用 户 基础 ， 构 建 了 百 万 量 级 的 CDN 动 态 节点 ， 搭 建 起 一 个 物理 范围 覆盖 全 国 的 CDN 
节点 网 络 ， 使 newifi 雾 计算 平台 初 具 雏形 。 目 前 该 平台 累计 已 为 上 自家 互联 网 公司 提供 CDN 网 络 加 速 服务 。 据 与 newifi 新 路 由 合 
作 的 客户 反馈 ，newifi 新 路 由 提供 的 CDN 加 速 服务 比 传统 的 CDN 服 务 更 加 细致 ， 而 且 成 本 降低 了 数 倍 。 


传统 的 CDN 是 依靠 部 署 在 各 地 的 边缘 服务 器 ， 通 过 中 心平 台 的 负载 均衡 、 内 容 分 发 、 统 一 调度 等 功能 模块 ， 使 某 区 域 的 用 
户 定 点 获取 所 需 内 容 ， 如 图 9.18 所 示 。 


相 较 于 传统 的 CDN 内 容 分 发 技术 ， 云 CDN 更 加 注重 信息 的 实时 性 。 由 无 限 网 络 节 点 构成 的 云 CDN 网 络 ， 采 用 了 动态 节点 分 
发 技术 ， 当 接 到 用 户 资源 调 取 的 请 求 时 ， 自 动 选择 最 佳 通道 为 用 户 传输 数据 。 这 里 的 选择 条 件 是 ， 哪 里 的 数据 物理 距离 更 近 ， 哪 
里 的 数据 质量 更 高 ， 哪 条 传输 通道 的 稳定 性 更 好 、 反 应 时 间 更 短 ， 这 些 因素 都 是 每 一 个 云 CDN 节 点 已 有 的 逻辑 。 分 布 式 CDN 网 
络 加 速 项 目的 布局 ， 消 除了 各 运营 商 之 间 互 联 的 瓶颈 ， 实 现 了 跨 运营 商 的 资源 调 取 ， 达 到 了 良好 的 网 络 加 速效 果 。 相 对 而 言 ， 传 
统 CDN 则 无 法 实现 这 样 的 动态 调控 的 过 程 。 因 为 两 者 在 分 发 节点 数量 上 存在 广大 差异 ， 区 域 覆 盖 上 也 无 法 相提并论 。 


用 户 访问 用 户 访问 


图 9-18 传统 CDN 部 署 拓扑 架构 


传统 CDN 与 云 CDN 比 较 ， 在 安全 防御 上 的 能 力也 有 巨大 差异 。 云 CDN 具 有 高 防 功能 ， 数 据 的 备份 加 密 分 散 传 输 、 资 源 站 IP 
的 隐藏 及 动态 的 传输 路 径 等 ， 有 效 提高 了 黑客 的 攻击 难度 。 例 如 ， 某 用 户 向 网 页 发 出 登录 某 个 系统 查看 机 密 信 息 的 请 求 时 ， 距 离 
用 户 最 近 的 CDN 节 点 将 用 户 请 求 的 信息 发 送 到 用 户 的 显示 器 中 ， 在 这 个 过 程 中 ， 负 责 分 友 本 次 信息 的 CDN 节 点 IP 地 址 已 经 隐 
藏 ， 黑 客 很 难 发 现 ， 并 且 因 为 资源 传输 路 径 的 动态 变化 ， 对 信息 的 去 向 也 很 难 追 踪 ， 这 样 就 使 用 户 向 服务 器 请 求 调 取 的 个 人 私密 
信息 得 到 了 最 大 限度 的 安全 保障 。 


从 各 方面 的 比较 得 出 结论 ， 云 CDN 具 有 良好 的 发 展 潜力 。 


对 一 般 互 联网 公司 来 说 ， 旗 下 的 每 一 个 网 站 站 点 都 需要 有 相应 的 数据 中 心 来 存储 分 发 资源 ， 所 以 按照 传统 的 方法 ， 这 些 互 联 
网 公司 必须 向 CDN 运 营 商 购买 云端 的 使 用 权 ， 而 往往 这 笔 费用 占据 了 互联 网 公司 绝 大 部 分 运营 费用 。 


从 更 高 层面 上 来 说 ， 互 联网 公司 向 CDN 运 营 商 购买 的 云端 使 用 权 ， 就 属于 云 计 算 的 一 种 表现 形式 。 通 过 虚拟 化 技术 ， 云 端 
为 客户 提供 虚拟 化 的 远程 资源 ， 如 远程 存储 、 远 程 通信 及 计算 结果 的 远程 分 发 等 。 如 此 来 说 ， 购 买 的 云端 使 用 权 也 就 等 于 租用 远 
程 数 据 中 心 。 实 现 数据 的 远程 传输 、 计 算 ， 对 网 络 带宽 、 网 络 传感器 、 云 端 承 载 力 提出 了 要 求 。 就 目前 的 状况 来 说 ， 网 络 带宽 增 
长 速度 跟 不 上 网 络 使 用 设备 的 增 速 ， 网 络 带 宽 急 需 拓 展 ; 传感器 设备 24 小 时 不 停歇 地 在 向 云端 数据 中 心 传 输 数据 ， 其 数据 多 种 
多 样 ， 优 劣 并 行 ， 造 成 云端 的 计算 压力 与 日 俱 增 ， 因 此 云端 计算 需要 有 数据 初步 筛选 的 过 程 。 


雾 计算 处 于 更 加 基层 的 物理 布局 中 。 从 深层 次 上 来 说 ， 云 计算 的 载体 是 云端 数据 中 心 ， 而 雾 计算 的 载体 则 是 用 户 与 云端 数据 
中 心 进 行 通信 过 程 中 不 可 计数 的 小 型 网 络 设备 ， 如 路 由 器 、 基 站 等 。 仅 从 这 一 点 来 说 ， 雾 计算 的 载体 数量 将 是 云 计算 载体 的 无 数 
倍 ， 因 为 每 一 个 用 户 家 庭 中 的 路 由 器 都 有 可 能 成 为 雾 计算 中 心 。 


雾 计算 同样 为 用 户 提供 虚拟 化 的 远程 资源 ， 但 是 相 较 云 计 算 ， 雾 计算 在 物理 距离 上 更 加 靠近 用 户 ， 在 实时 性 上 有 远 超 云 计 算 
的 优势 。 假 如 互联 网 公司 不 将 服务 器 部 署 在 国外 ， 而 是 选择 性 地 分 层 化 地 使 用 家 家 户 户 都 有 的 路 由 器 作为 服务 器 ， 那 么 为 每 一 次 
用 户 点 击 而 服务 的 设备 很 有 可 能 就 是 邻居 家 中 的 路 由 器 ， 这 样 数据 传输 物理 距离 得 到 了 最 大 化 的 减少 ， 网 页 响应 时 间 也 相应 减 
少 。 雾 计算 设备 地 域 分 布 越 广 ， 对 互联 网 公司 来 说 服务 器 成 本 会 大 大 降低 ， 而 且 收 集 的 用 户 信息 也 会 更 加 精准 。 


未 来 ， 对 于 如 何 避 免 因数 据 量 膨 胀 带 来 的 网 络 拥堵 问题 ， 相 信 雾 计算 将 会 发 挥 巨大 的 作用 。 要 实现 雾 计算 的 布局 ， 需 要 强大 
的 技术 实力 和 基层 设备 资源 ， 雾 计算 路 由 器 则 有 着 得 天 独 厚 的 优势 ， 如 图 9.19 所 示 。 


图 9-19 ” 物 联网 雾 计算 路 由 器 应 用 范畴 示意 图 


9.7.3” 雾 计算 网 关 


机 智 云 是 国内 物 联 网 服务 提供 商 ， 其 对 雾 计算 的 落地 策略 不 同 于 思科 等 通信 设备 供应 商 。 机 智 云 的 雾 计 算 发 力 点 落 在 了 数量 
更 为 庞大 的 通信 模 组 DTU (Data Transfer Unit) 和 网 关 (Networking Gateway) 上 。 这 些 设备 都 是 机 智 云 直接 可 控 的 计算 单 


JU。 


过 去 的 几 年 中 ， 云 计算 的 兴起 把 终端 部 分 的 计算 和 存储 挪 到 了 云端 ， 便 于 数据 聚合 和 统一 管理 。 现 在 ， 雾 计算 把 聚合 的 计算 
和 存储 能 力 分 配 到 管道 和 终端 部 分 ， 形 成 更 快速 响应 和 超大 规模 的 运算 体系 。 这 个 计算 体系 是 一 个 企业 对 云端 、 管 道 、 终 端的 控 
制 力 和 动态 管理 能 力 。 把 动态 部 署 运 算 的 能 力 赋予 低级 处 理 器 ， 连 几 块 钱 的 普通 单片机 (MCU) 也 可 以 参与 到 雾 计算 中 。 


机 智 云 ECE 雾 计算 框架 ， 在 DTU 或 网 关上 嵌入 了 一 个 “ 微 容 器 ”， 可 以 执行 以 Javascript、Python 和 Lua 等 轻 量 级 的 脚本 语 
言 构成 的 “ 微 应 用 ”。 这 些 “ 微 应 用 ”可 以 进行 数据 处 理 、 协 议 转换 ， 实 现 设备 之 间 的 互联 互通 。 开 发 者 可 以 直接 在 云端 编写 各 
种 脚本 ， 然 后 通过 ECE 系 统 方便 地 推送 到 微 应 用 容器 中 ， 这 样 就 可 以 实时 把 运算 能 力 部 署 到 设备 端 。 设 备 不 用 重启 ， 也 不 需要 将 
整个 系统 OTA 固 件 升 级 ， 只 需要 更 新 其 在 雾 端的 算法 和 微 应 用 。 


具备 “ 微 应 用 ”的 设备 可 以 根据 业务 需求 ， 实 现 毫秒 级 数据 采集 分 析 ， 提 供 更 大 的 可 分 析 数 据 量 ， 并 具备 本 地 判断 能 力 ， 精 
确 度 与 效率 得 到 了 大 大 提高 。 但 这 种 设备 端的 计算 并 不 会 取代 云端 运算 ， 而 是 由 设备 端 经 过 微 应 用 数据 处 理 ， 将 已 经 处 理 好 的 有 
用 数据 发 送 到 云端 ， 云 端 再 去 做 数据 汇总 ， 设 备 端 有 效 放 大 了 云端 的 汇总 能 力 。 通 过 雾 计算 的 方式 ， 云 端 可 以 快速 灵活 地 更 新 它 
在 雾 端 的 微 应 用 ， 有 效 地 把 “软件 定义 硬件 ”升级 到 “云端 定义 硬件 ”。 


未 来 ， 真 正 的 计算 变革 会 在 你 我 身边 , 不 在 “ 云 ” 中 , 在 “ 雾 ” 里。 


9.7.4” 雾 计算 传感器 


随 着 物 联网 的 发 展 ， 诸 如 雾 计 算 的 去 中 心 化 分 布 式 智能 概念 正大 行 其 道 ， 以 满足 对 更 低 延 时 、 更 高 安全 性 、 更 低 功 耗 和 更 高 
可 靠 性 的 要 求 。 这 种 向 分 布 式 的 数据 处 理 和 存储 方法 发 展 的 趋势 ， 需 要 有 更 加 智能 的 传感器 和 全 新 的 无 线 传感器 网 络 架 构 。 


雾 计算 的 基本 前 提 是 去 集中 化 ， 即 一 些 处 理 功能 和 人 存储 功能 在 本 地 执行 ， 比 将 数据 从 传感器 一 路 发 送 到 云端 ， 然 后 再 返回 至 
执行 器 的 性 能 更 好 。 这 样 做 可 以 缩短 延 时 ， 并 减少 了 需要 来 回 传送 的 数据 量 。 缩 短 延 时 有 助 于 改善 消费 类 应 用 的 用 户 体验 ， 在 工 
业 应 用 中 还 可 以 改善 天 键 系统 功能 的 响应 时 间 ， 节 省 费用 甚至 拯救 生命 。 


这 种 分 布 式 方法 通过 减少 从 网 络 边 缘 传 送 到 云端 的 数据 量 ， 来 提高 安全 性 、 降 低 功 耗 、 减 轻 数据 网 络 负载 ， 从 而 提高 了 总 体 
服务 质量 (QoS) 。 雾 计算 能 促进 本 地 资源 池 的 建立 ， 充 分 利用 给 定 区 域 的 可 用 资源 ， 并 将 物 联 网 的 基础 功能 之 一 一 数据 分 
析 加 进来 。 


随 着 雾 计算 的 兴起 ， 传 感 器 开始 变 得 更 加 智能 ， 具 有 一 定 程度 的 内 置 处 理 、 人 存储 和 通信 能力。 出 于 成 本 、 空 间 、 功 耗 、 尺 十 
和 功能 方面 的 考虑 ， 开 始 研发 新 型 智能 传感器 。 


MEMS 传 感 器 集成 了 数字 功能 ， 实 现 了 双向 通信 、 自 检 和 补偿 算法 ， 在 小 尺寸 和 功能 集成 方面 ， 一 直 是 设计 师 的 理想 选 
择 ， 如 图 9.20 所 示 。 


通信 息 线 


图 9-20 MEMS 物 能 传感器 设计 理念 变迁 


MEMS 智 能 传感器 从 基本 的 模拟 信号 调节 (A) 一 直到 板 载 MCU (B) 、 本 地 内 存 和 ADC (C) ， 提 高 了 数字 集成 程度 ， 有 
助 于 MEMS 传 感 器 更 好 地 实现 自 检 和 主动 补偿 例 程 ， 但 实时 的 可 靠 性 监视 仍然 很 难 。 


用 无 处 不 在 的 智能 传感器 实现 雾 计算 时 ， 确 保 来 自 这 些 传感器 的 数据 的 可 靠 性 变 得 越 来 越 重 要 。 与 此 同时 ， 雾 计算 原理 的 实 
际 运用 意味 着 通信 基础 设施 正在 落实 到 位 ， 以 确保 节点 间 能 够 更 好 地 通信 。 传 感 器 厂商 研发 实时 传感器 故障 分 析 方 法 ， 使 其 适用 
于 新 的 检测 和 组 网 范例 。 


在 设计 建议 中 ，MEMS 研 究 小 组 使 用 了 一 个 低 功 耗 的 8 位 PIC18F4550MCU、 一 个 10 位 的 模 数 转换 器 (ADC) 、 一 个 TT 
INA333 仪 器 放大 器 和 一 个 HC-06 蓝 牙 模块 来 监视 传感器 的 平均 无 故障 时 间 (MTBF) ， 并 将 数据 传送 给 智能 手机 ， 如 图 9.21 所 
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图 9-21 含有 自 检 自 测 功能 的 传感器 设计 


实时 传感器 监视 方法 消除 了 传感器 预测 的 异常 行为 ， 因 而 使 关键 的 物 联网 MEMS 传 感 器 数据 变 得 在 很 长 时 间 内 都 很 可 靠 。 
这 里 的 关键 是 ， 所 有 传感器 的 MTBF 都 存储 在 本 地 的 非 易 失 性 存储 器 中 ， 并 且 随 着 时 间 的 推移 ， 其 可 靠 性 数据 会 被 不 断 地 重新 计 
算 和 更 新 。 


传感器 中 增加 了 更 多 的 智能 功能 ， 人 们 也 越 来 越 依赖 这 些 传感器 。 因 此 研发 人 员 需 要 更 透彻 地 理解 传感器 的 状态 ， 确 保 用 于 
雾 计 算 的 数据 变 得 更 真实 可 靠 。 


雾 计 算 特 有 的 灵活 配置 、 低 成 本 、 无 须 一 次 性 大 额 投资 等 优势 吸引 了 更 多 中 小 企业 ， 这 将 使 雾 计 算 的 渗透 率 不 断 提 高 。 


9.8.1 智慧 交通 


目前 的 城市 道路 监控 系统 ， 从 监控 探头 到 本 地 中 心机 房 的 通信 跳 数 一 般 在 3 ~ 4 跳 甚 至 更 高 ， 如 果 系 统 需要 作出 实时 决策 ， 
则 会 面临 网 络 通信 延迟 的 挑战 。 


如 图 9.22 所 示 为 一 个 智能 交通 灯 系 统 ， 除 了 监控 探头 作为 传感器 之 处 ， 还 有 交通 灯 作 为 执行 器 。 雾 计算 的 引入 将 为 这 一 系统 
带 来 更 多 的 可 能 性 。 例 如 ， 监 控 过 程 中 ， 相 比 上 一 帧 画面 ， 通 常 只 有 一 部 分 画面 变化 ， 而 另 一 部 分 画面 不 变 ， 非 常 适 于 压缩 处 
理 。 对 于 需要 人 为 监控 的 画面 ， 雾 节点 将 视频 流 直接 转发 给 中 心机 房 ， 而 其 他 监控 视频 只 需要 存储 ， 对 实时 性 要 求 不 高 ， 因 此 可 
以 在 雾 节 点 处 缓存 若干 帧 画面 ， 压 缩 后 表 传 向 中 心机 房 。 这 样 从 才 节 点 到 机 房 的 网 络 带 宽 将 得 到 缓解 。 
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图 9-22 用例 
在 雾 节 点 处 ， 可 判断 监控 画面 中 是 否 有 救护 车 头 灯 闪烁 ， 然 后 作出 实时 决策 发 送 给 对 应 的 交通 灯 ， 协 助 救护 车 通过 。 


上 例 仅 是 智慧 城市 中 的 一 个 具体 缩影 ， 雾 计算 在 智能 电网 、 车 联网 、 智 慧 家 庭 等 领域 的 应 用 场景 不 胜 枚 举 。 


9.8.2 无 人 机 快递 


无 人 机 ， 是 典型 的 物 联网 应 用 。 传 统 的 快递 行业 面临 着 巨大 的 人 员 开 销 、 设 备 成 本 和 安全 问题 。 然 而 无 人 机 快递 却 可 以 精准 
而 及 时 地 完成 货物 投递 ， 有 效 地 节约 各 种 资源 。 所 以 无 论 是 国内 的 顺丰 ， 还 是 国外 的 谷歌 、 亚 马 了 还、 沃尔玛 、DHL 等 企业 ， 都 在 
研发 和 测试 自己 的 无 人 机 快递 服务 。 但 是 目前 的 无 人 机 快递 服务 在 技术 、 安 全 和 监管 方面 都 面临 诸多 问题 ， 尚 未 成 熟 。 下 面 以 无 
人 机 快递 服务 为 例 ， 来 剖析 雾 计算 如 何 解决 这 些 问 题 。 


1. 安 全 性 


无 人 机 快递 服务 必须 要 带 来 空域 共享 的 问题 。 因 为 快递 业务 的 繁忙 ， 空 中 可 能 会 有 数 以 万 计 的 无 人 机 ， 这 时 就 会 带 来 很 多 的 
危险 和 冲突 。 例 如 ， 无 人 机 之 间 的 相互 碰撞 、 无 人 机 和 飞鸟 ， 以 及 无 人 机 与 高 层 建筑 之 间 的 碰撞 。 所 以 无 人 机 必须 能 够 快速 辨 8 
碰撞 物 ， 并 迅速 作出 反应 。 


一 


2. 带 宽 瓶 横 和 开销 


在 无 人 机 运输 货物 和 交 货 的 过 程 中 ， 控 制 端 需要 不 断 地 进行 通信 和 追踪 ， 所 以 这 些 通信 数据 、 控 制 过 程 转化 为 了 每 次 无 人 机 
飞行 的 数据 流 。 但 是 获取 这 些 数据 需要 卫星 导航 ， 大 大 增加 了 商业 应 用 成 本 。 


3. 无 人 机 调度 中 心 管理 


对 于 每 个 供应 商 来 说 ， 独 立 于 其 他 的 供应 商 无 人 机 编队 ， 只 管理 自己 的 无 人 机 编程 是 不 切实 际 的 。 为 了 无 人 机 的 大 规模 应 


用 ， 业 内 必须 开发 无 人 机 调度 中 心 ， 来 协调 各 个 公司 无 人 机 编队 的 飞行 ， 如 同 机 场 一 样 。 管 理 这 些 调度 中 心 的 先进 技术 ， 对 于 协 
调 地 面 及 空中 的 无 人 机 操作 十 分 重要 。 


无 人 机 需要 在 复杂 的 监管 环境 中 操作 。 世 界 各 地 的 航空 管理 局 都 为 无 人 机 的 操作 制定 了 规范 。 有 些 规范 限定 无 人 机 必须 在 操 
作者 的 视线 范围 内 飞行 ， 设 置 了 禁止 区 域 和 禁 飞 条 件 。 也 许 未 来 ， 当 出 现 能 够 确保 飞行 安全 的 技术 后 ， 无 人 机 或 许 被 允许 可 以 在 
视线 以 外 的 地 方 飞行 。 


5. 雾 计算 解决 方案 
面 对 无 人 机 快递 应 用 的 种 种 挑战 ， 雾 计算 的 应 用 能 够 解决 无 人 机 习 行 的 难题 。 
6 .地面 快速 协调 


机 场 经 常 是 一 片 繁 已 时 的 景象 。 很 多 飞机 在 排 着 长 队 等 待 起 《， 同 时 又 有 很 多 飞机 降落 在 跑道 上 。 商 用 的 无 人 机 调度 中 心 也 
是 同样 的 运行 模式 ， 空 中 交通 的 容量 和 机 场 一 样 ， 甚 至 更 多 。 


调度 中 心 有 多 个 无 人 机 的 入 港 位 。 高 度 自动 化 的 设备 加 载 和 印 载 快递 包 庄 。 无 人 机 在 每 次 飞行 前 都 需要 进行 例 行 检查 。 所 有 
的 无 人 机 都 必须 有 飞行 计划 ， 以 便 对 起 飞 和 降落 进行 调度 ， 防 止 冲突 。 调 度 中 心 需要 在 短 时 间 内 完成 大 量 无 人 机 的 装 货 、 起 飞 、 
降落 和 维护 工作 。 


一 个 无 人 机 在 最 终 进 入 机 场 的 时 候 ， 速 度 可 达 100 英 里 每 小 时 (或 147 英 尺 每 秒 ) 。 在 下 降 的 过 程 中 ， 在 无 人 机 和 地 面 “ 控 
制 塔 ”之 间 ， 需 要 每 秒 数 百 次 循环 的 实时 信息 更 新 。 然 而 通过 云端 的 信息 传递 ， 最 佳 的 情况 延 时 大 概 在 80 毫 秒 左 右 。 所 以 无 人 
机 在 一 次 消息 往复 之 间 ， 会 飞行 12 英 尺 。 因 为 所 有 的 消息 要 通过 云端 ， 所 以 产生 了 延迟 ， 很 难 完成 瞬间 响应 。 


雾 计 算 会 考虑 到 | 高 流量 无 人 机 交通 的 安全 控制 需求 ， 提 高 通信 效率 、 加 快 存储 和 计算 的 速度 ， 更 有 效 地 持续 响应 ， 更 新 软 
件 ， 进 行 大 数据 实时 分 析 ， 以 满足 无 人 机 飞行 的 需求 。 


地 面 的 雾 计 算 控 制 器 ， 缩 短 了 无 人 机 和 “控制 塔 ” 之 间 的 通信 循环 时 间 ， 一 定 程度 上 减少 了 延 时 ， 所 以 无 人 机 只 飞行 两 英 
寸 ， 就 可 以 进行 一 次 信息 更 新 。 


然而 某 些 地 面 信息 仍然 需要 上 传 到 云端 ， 如 通信 记录 ， 可 以 发 送 到 云端 进行 长 期 的 存储 和 分 析 。 
7. 空 中 自主 操作 


任何 时 候 ， 空 中 的 无 人 机 都 需要 进行 安全 管理 ， 就 像 客 运 和 货运 的 交通 管理 一 样 。 但 是 ， 空 中 的 无 人 机 安全 有 着 不 同 的 维 
度 。 无 人 机 是 无 人 控制 的 ， 所 以 没有 飞行 员 、 副 驾驶 和 导航 员 来 检查 天 气 状况 ， 及 这 个 区 域 的 其 他 飞机 ， 作 出 相应 调整 。 


因为 是 无 人 驾驶 ， 所 以 无 人 机 需要 足够 的 “智能 ”来 自主 运行 。 首 先 ， 需 要 无 人 机 上 的 雾 节点 能 够 意识 到 任何 邻近 无 人 机 的 
物体 ， 包 括 天 气 状况 、 其 他 无 人 机 、 飞 乌 或 者 建筑 。 其 次 ， 对 无 人 机 感知 问题 进行 分 析 并 且 作 出 反应 。 反 应 时 间 要 达到 亚 毫秒 
级 。 而 在 云端 ， 进 行 这 样 的 处 理 循 环 时 间 则 太 久 。 有 可 能 等 到 无 人 机 报告 问题 时 ， 处 理 的 问题 的 最 佳 时 间 已 经 错过 。 


空中 自主 必 行 ， 意 味 着 无 人 机 可 以 进行 自我 检查 ， 保 证 所 有 的 系统 可 以 正确 操作 。 并 且 一 旦 发 现 问题 ， 无 人 机 上 的 雳 计算 节 
点 ， 可 以 采取 适当 的 措施 进行 纠正 或 补偿 ， 并 且 可 以 返回 调度 中 心 进行 维护 。 


8. 地 面 和 空中 的 安全 性 


安全 性 是 无 人 机 的 重要 考量 因素 。 如 果 黑 客 锁定 和 控制 带 有 供给 药物 或 数据 的 无 人 机 将 是 非常 危险 的 。 在 多 传感器 上 增加 安 


全 功能 ， 如 加 密 和 防止 必 片 克隆 ， 将 增加 无 人 机 的 成 本 。 而 从 云端 下 载 安全 证 书 、 补 本 和 更 新 ， 需 要 人 花费 很 多 带宽 ， 所 以 只 能 采 
取 折 中 的 安全 性 方案 。 


无 人 机 上 的 雾 节 点 可 以 控制 安全 性 ， 不 需要 增加 无 人 机 的 复杂 度 ， 无 人 机 大 小 和 任何 无 人 机 部 件 的 开销 。 雾 节点 可 以 在 飞行 
中 进行 安全 更 新 ， 防 御 周边 黑客 的 攻击 。 


例如 ， 飞 机 上 一 般 都 会 配备 有 很 多 重要 的 传感器 用 于 防止 系统 故障 。 飞 机 每 飞行 一 小 时 ， 这 些 传感器 可 以 产生 高 达 40TB 的 
数据 。 如 果 将 其 乘 以 每 天 的 飞行 小 时 数 就 会 发 现 ， 航 空 业 产 生 的 数据 量 是 惊人 的 。 这 些 传感器 在 飞行 中 提供 重要 的 数据 ， 但 是 这 
些 数 据 中 也 有 大 量 的 无 意义 数据 在 降低 传输 效率 和 储存 空间 。 我 们 可 以 将 目前 正在 快速 发 展 的 无 人 驾驶 汽车 想象 成 无 人 飞机 ， 每 
辆 汽车 产生 的 数据 都 相当 于 一 架 飞 机 ， 那 么 当 无 人 驾驶 汽车 数量 很 多 的 时 候 ， 所 产生 的 数据 量 已 经 不 是 天 文 数字 可 以 摘 述 的 了 。 
如 果 这 些 数据 都 要 送 到 云 计 算 的 云端 服务 器 进行 分 析 ， 那 么 效率 必 将 大 打折 扣 ， 而 雾 计 算 则 避免 了 这 一 问题 。 


9.8.3 ” 雾 计算 推动 物 联网 发 展 


随 着 物 联网 产业 的 增长 ， 雾 计算 或 边缘 计算 已 经 开始 从 “创新 触发 ”阶段 演变 到 “产业 推广 ”阶段 。 才 (边缘 ) 计算 是 一 种 
计算 数据 的 体系 结构 ， 应 用 程序 和 服务 被 从 集中 的 云端 推 到 网 络 的 逻辑 终端 即 边缘 。 有 许多 其 他 名 称 的 边缘 计算 架构 ， 如 网 格 计 
算 、 对 等 计算 等 。 


1. 雾 计算 是 去 中 心 化 的 云 计 算 


在 云 计 算 架 构 中 ， 集 中 式 服务 器 负责 整个 应 用 程序 或 设备 所 需 的 计算 。 然 而 ， 与 物 联 网 生态 系统 遵循 同样 的 原则 变 得 越 来 越 
麻烦 。 物 联网 的 生态 系统 可 以 逻辑 地 分 解 为 4 个 组 成 部 分 : 数据 、 物 体 (设备 ) 、 人 和 过 程 。 在 数据 层面 ， 我 们 意识 到 ， 尽 管 庞 
大 的 数据 量 正 在 从 连接 的 设备 上 产生 ， 但 大 部 分 数据 是 暂时 性 的 ， 即 数据 的 价值 产生 后 几 分 钟 内 就 消失 了 。 因此， 怎样 处 理 这 些 
数据 、 从 数据 中 提取 哪 一 类 价值 、 数 据 的 生产 和 存储 ， 以 及 各 种 需求 分 析 是 完全 不 同 的 领域 。 


根据 大 数据 的 特点 ， 即 数据 量 、 时 效 性 、 多 样 性 ， 通 过 对 比 云 计算 模型 为 代表 的 集中 式 大 数据 处 理 和 和 雾 (边缘 ) 计算 为 代表 
的 边缘 式 大 数据 处 理 ， 可 以 看 出 雾 计算 的 优势 。 边 缘 式 大 数据 处 理 时 代 ， 数 据 类 型 更 加 复杂 多 样 ， 数 据 处 理 的 实时 性 要 求 更 高 ， 
数据 量 也 超过 ZB 级 ， 边 缘 计算 可 以 提高 数据 传输 性 能 ， 保 证 数据 处 理 的 实时 性 ， 降 低 了 云 计 算 中 心 的 负载 。 


2. 雾 计算 可 以 有 效 减少 网 络 负载 ， 提 升 效率 


多 个 设备 聚集 在 一 起 ， 连 接 到 | 单个 计算 节点 就 形成 了 一 个 较 小 的 网 络 。 在 某 些 情况 下 ， 单 个 设备 分 配给 单个 计算 节点 而 不 是 
群集 。 我 们 假设 使 用 场景 、 细 节 情 况 ， 用 于 创造 一 个 雾 计 算 模型 。 假 设 你 的 手机 有 一 个 健身 应 用 程序 ， 跟 踪 你 每 天 燃烧 的 卡路里 
数量 ， 并 与 你 的 目标 和 历史 表现 进行 对 比 ， 每 天 通过 你 所 走 的 步 数 报告 燃烧 的 卡路里 量 。 这 个 应 用 程序 ， 是 通过 手机 上 配备 各 种 
传感器 如 计 步 器 、 加 速度 计 等 来 实现 的 。 这 些 传感器 可 以 捕获 手机 的 每 一 个 颗粒 的 运动 数据 ; 即 在 微 秒 级 别 捕获 手机 的 X 和 Y 坐 
标 ， 研 究 并 计算 你 一 天 中 走 了 多 少 步 。 假 设 手机 在 你 的 口袋 里 ， 当 你 行走 时 ， 在 Xx 坐标 轴 向 前 移动 时 Y 坐 标 上 会 有 轻微 的 变化 。 
手机 传感器 传 来 的 坐标 数据 能 够 形成 一 个 模式 来 检测 一 个 完整 的 步行 周期 。 使 用 这 些 模式 ， 可 以 计算 用 户 走 过 的 步 数 。 如 果 从 一 
个 简单 的 云 计算 的 角度 来 分 析 这 个 过 程 就 是 传感器 会 收集 一 天 中 的 全 部 日 志 数 据 ， 从 计 步 器 上 将 约 50MB 数 据 发 送 到 云端 。 然 后 
由 服务 器 对 数据 进行 分 析 ， 检 测 所 走 的 步 数 ， 将 其 转换 为 燃烧 的 卡路里 数 ， 并 将 结果 发 送 回 手机 。 如 果 有 500 万 个 用 户 需 要 通过 
网 络 将 大 量 数据 发 送 到 云端 ， 那 么 将 在 云端 占用 大 量 的 网 络 计算 和 存储 资源 。 如 果 使 用 雾 计算 架构 ， 利 用 手机 的 内 部 计算 能 力 和 
存储 资源 ， 就 可 以 计算 每 30 分 钟 所 走 的 步 数 。 在 一 天 结束 时 ， 手 机 上 的 应 用 程序 可 以 把 用 户 累计 所 走 的 步 数 发 送 到 云端 ， 数 据 
的 大 小 将 远 小 于 1KB。 


3. 雾 计算 的 应 用 前 景 广泛 


以 制造 业 案例 为 例 ， 假 设 大 型 公司 在 某 地 建立 了 工厂 ， 用 来 生产 清洁 剂 。 可 以 想象 一 下 ， 整 个 生产 流程 中 有 一 台 撑 拌 机 ( 垂 
直 或 水 平 搅拌 机 ) 吸收 不 同 的 原料 ， 并 将 它们 进行 搅拌 ， 在 制造 过 程 中 生产 出 合成 混合 物 。 搅 拌 机 的 运转 原理 是 以 预 设 的 转速 定 
时 旋转 ， 搅 拌 机 简 吸 收 不 同 的 原材料 ， 其 运转 会 耗费 一 定量 的 能 源 。 


如 果 我 们 利用 物 联网 生态 系统 ， 让 这 个 设备 成 为 “智能 搅拌 机 ”， 给 搅拌 机 安装 大 量 的 传感器 来 捕捉 各 种 参数 数据 ， 然 后 将 
数据 传 回 云 服务 器 进行 后 续 分 析 。 


为 了 让 机 器 成 为 “智能 设备 ”， 我 们 需要 雾 计算 架构 ， 也 就 是 增加 本 地 实时 计算 数据 流 的 能 力 ， 并 将 其 作为 历史 数据 来 分 
析 ， 帮 助 机 器 作出 决策 来 提高 效率 。 这 将 是 一 个 利用 机 器 学 习 优化 机 器 功 耗 ， 拱 建 雾 计算 网 络 的 场景 。 


简 而 言 之 ， 通 过 推动 计算 边缘 化 ， 我 们 也 将 智能 推 到 网 络 边缘 ， 让 设备 能 够 作出 自主 决策 来 提高 效率 ， 并 成 为 智能 设备 。 未 
来 ， 雾 计算 将 与 云 计算 相辅相成 、 有 机 结合 ， 为 万 物 互联 时 代 的 信息 处 理 提供 更 完美 的 软 硬 件 支撑 平台 。 


9.9 ”本 章 小 结 


本 章 前 述 了 雾 计算 的 概念 。 雾 计算 在 物 联网 发 展 的 推动 下 ， 由 学 术 名 词 演变 为 雾 节 点 、 雾 计算 服务 器 、 雾 计算 路 由 器 、 雾 计 
算 网 天 等 产业 化 的 物理 设备 。 由 虚 变 实 ， 雾 计算 推动 了 物 联网 的 发 展 与 进化 。 


9.10 ”习题 


1. 什 么 是 云 计 算 ? 
2. 什 么 是 雾 计算 ? 
3. 雾 计算 服务 器 有 哪些 功能 ? 
4. 雾 计算 路 由 器 有 哪些 功能 ? 


5. 雾 计算 就 是 边缘 计算 对 吗 ? 简 述 雾 计算 和 边缘 计算 的 细微 差别 。 


第 10 草 ” 云 计 算 友 展 趋势 展望 


云 计 算 将 改变 社会 信息 形态 ， 从 产品 生产 到 商品 销售 ， 从 生活 服务 到 医疗 保健 和 智慧 医院 ， 从 智能 电网 到 智慧 交通 和 智慧 城 
市 ， 渗 透 到 了 教育 、 卫 生 、 农 业 和 工业 等 不 同行 业 。 云 计算 技术 创新 和 应 用 创新 层出不穷 ， 呈 现 出 百花 齐 放 、 百 家 争鸣 的 繁荣 景 
象 


云 计 算是 以 数据 为 中 心 的 数据 密集 型 计算 模式 ， 是 多 种 分 布 式 计 算 技术 及 其 商业 模式 演进 的 产物 。 


云 计 算 、 云 存储 和 云 服务 的 远程 化 给 通信 网 络 带 来 了 压力 ， 如 果 接 入 网 络 的 带宽 较 低 或 网 络 环境 不 稳定 ， 会 使 云 计算 的 性 能 
降低 ， 服 务 效率 打折 。 因 此 ， 云 服务 提供 商 、 网 络 通信 商 只 有 优化 网 络 带宽 ， 提 高 质量 才能 满足 云 计 算 的 需求 。 云 计算 和 云 服务 
的 深入 发 展 将 促使 高 速 、 安 全 和 稳定 的 网 络 服务 的 发 展 。 


10.1 云 计算 关键 技术 研究 进展 


云 计 算 的 关键 技术 涉及 虚拟 化 技术 、 存 储 技术 、 节 能 技术 和 安全 技术 等 ， 本 节 将 做 具体 介绍 。 


10.1.1 虚拟 化 技术 


虚拟 化 技术 由 于 在 提高 基础 设施 可 靠 性 、 提 升 资源 利用 效率 等 方面 有 巨大 优势 ， 因 此 应 用 领域 越 来 越 广泛 。 新 兴 的 云 计 算 和 
云 服务 ， 更 需要 虚拟 化 技术 的 支撑 。 


虚拟 化 技术 的 起 源 最 早 可 以 追溯 到 1959 年 ， 克 里 斯 托 弗 (Christopher Strachey) 发 表 了 一 篇 名 为 Time Sharing in Large 
Fast Computers 的 学 术 论 文 ， 这 篇 文章 被 认为 是 虚拟 化 技术 的 最 早 论述 。 


20 世 纪 60 年 代 ， 国 际 商业 机 器 公司 IBM 为 其 大 型 机 发 明了 一 种 虚拟 机 监控 器 技术 。20 世 纪 70 年 代 ，IBM、 惠 普 和 SUN 等 公 
司 将 虚拟 化 技术 引入 到 各 自 的 精简 指令 集 (RISC) 高 端 服务 器 和 小 型 计算 机 中 。 


1999 年 VMware 公司 提出 了 以 虚拟 机 监控 器 为 中 心 的 软件 解决 方案 。 该 方案 在 全 虚拟 化 模式 中 ， 使 PC 服务 器 平台 实现 了 虚 
拟 化 。 


2005 年 和 2006 年 ， 两 大 CPU 生 产 商 英特尔 (Intel) 和 超 微 半 导体 公司 (AMD) 对 硬件 进行 修改 ,分 别 推出 了 支持 硬件 虚 
拟 化 技术 的 产品 。 这 项 技术 改变 了 x86 架 构 对 虚拟 化 支持 的 效能 ，X86 架 构 由 此 成 为 了 虚拟 化 技术 发 挥 作用 的 重要 平台 之 一 。 


VMware 就 是 在 云 计算 中 使 用 的 主要 虚拟 机 之 一 。 它 是 一 个 虚拟 数据 中 心 操作 系统 ， 能 将 离散 的 硬件 资源 统一 起 来 ， 创 建 共 


随 着 云 计 算 的 兴起 ， 虚 拟 化 技术 走 进 了 全 面 易 盛 的 发 展 时 期 。 虚 拟 机 技术 是 云 计算 系统 中 的 核心 关键 技术 之 一 ， 它 可 以 将 各 
种 计算 及 存储 资源 充分 整合 和 高 效 利 用 ， 通 过 虚拟 化 手段 将 系统 中 各 种 异 构 的 硬件 资源 转换 成 为 灵活 统一 的 虚拟 资源 池 ， 从 而 形 
成 云 计 算 基 础 设施 ， 为 上 层 云 计算 平台 和 云 服务 提供 相应 的 支撑 。 


但 是 ， 虚 拟 化 技术 也 会 引入 比 物理 主机 更 多 的 安全 风险 ， 因 为 同一 物理 主机 上 的 虚拟 机 之 间 可 以 不 经 过 防火 墙 与 交换 机 相互 
访问 。 因 此 ， 使 用 虚拟 技术 的 云 计 算 平 台 须 向 其 用 户 提供 安全 性 和 隔离 保证 。 目 前 已 有 很 多 研究 者 针对 虚拟 化 系统 和 虚拟 化 管理 
的 安全 问题 进行 研究 ， 如 有 些 学 者 提出 了 基于 嵌 套 虚拟 化 技术 的 可 信 构 建 方法 、 基 于 现 有 硬件 特性 的 安全 监控 策略 和 基于 高 权限 
虚拟 机 的 数据 隔离 机 制 等 ， 这 些 方法 、 策 略 、 机 制 ， 为 可 信 云 服务 提供 了 新 的 途径 。 


10.1.2 ”数据 仓储 管理 技术 


计算 能 力 可 变 、 数 据 储 存在 不 信任 的 主机 上 、 数 据 是 远程 复制 ， 这 是 云 计算 的 3 个 特点 。 有 两 种 数据 管理 应 用 程序 适合 在 云 
计算 中 部 署 ， 一 种 是 事务 处 理 相关 的 数据 管理 系统 ， 另 一 种 是 分 析 相 关 的 数据 管理 系统 。 


事务 处 理 相关 的 数据 管理 系统 ， 没 有 采用 共享 的 体系 结构 ， 在 对 远程 数据 复制 时 ，ACID 的 需求 很 难得 到 满足 ， 而 且 在 不 信 
任 的 主机 上 存储 数据 也 有 较 大 风险 。ACID 要 求 对 基于 分 析 的 数据 管理 系统 来 说 不 是 必须 的 ， 而 且 保 证 敏感 数据 在 分 析 之 外 ， 从 
而 保证 了 它 的 安全 。 所 以 ， 基 于 分 析 的 数据 管理 系统 应 该 是 很 适合 在 云 计算 环境 中 部 署 的 。 


云 计算 系统 底层 需要 大 数据 的 存储 支持 ， 才 可 以 对 外 提供 云 存 储 服务 。 云 存储 克服 了 传统 存储 系统 在 容量 和 性 能 扩展 上 存在 
的 瓶颈 ， 以 其 扩展 性 强 、 性 价 比 高 、 容 错 性 好 等 优势 得 到 了 业界 的 广泛 认同 。 


1. 元 余人 存储 技术 


为 保证 用 户 所 存储 数据 的 高 可 用 性 和 高 可 靠 性 ， 云 计算 的 分 布 式 文件 系统 多 采用 元 余 的 存储 方式 ， 即 为 同一 份 数据 存储 多 个 
副本 ， 如 谷歌 的 GFS 和 阿 帕 奇 (Apache) 的 HDFS (分 布 式 文件 系统 ) ， 都 是 采用 3 个 副本 来 保证 数据 的 元 余 。 这 是 一 个 简单 有 
效 但 不 是 最 优 的 方法 。 


2. 擦 除 码 存储 技术 


擦 除 码 存储 技术 的 工作 原理 是 将 存储 系统 接收 到 的 大 块 数据 进行 切割 并 编码 ， 之 后 再 对 切割 后 的 数据 进行 再 次 切割 并 编码 ， 
一 直 重 复 这 一 操作 直到 数据 切割 到 满意 的 数据 块 大 小 为 止 。 这 样 使 数据 块 分 散 成 了 多 个 数据 块 再 进行 元 余 校 验 ， 然 后 将 不 重复 的 
数据 块 和 编码 写 入 存储 系统 中 。 实 验 表明 ， 采 用 了 擦 除 码 存 储 技术 来 降低 存储 成 本 ， 对 同样 的 数据 ， 能 够 节约 25% ~ 30% 的 
HDFS (分 布 式 文件 系统 ) 集群 的 存储 空间 。 


3. 分 布 式 列 存储 技术 


由 于 云 计算 对 大 数据 的 读 操作 频率 远大 于 数据 的 更 新 频率 ， 因 此 ， 云 计算 的 数据 管理 通常 会 采用 分 布 式 列 存 储 技术 。 列 存储 
模型 最 大 的 特点 是 方便 存储 结构 化 和 半 结 构 化 数据 ， 方 便 做 数据 压缩 ， 对 某 一 列 或 者 某 几 列 的 查询 应 用 有 着 非常 大 的 MO 优势 。 
当前 比较 典型 的 基于 列 存储 模型 的 分 布 式 数据 存储 系统 是 谷歌 公司 的 Big-Table 和 Apache 的 HBase。 


10.1.3 ”节能 技术 


在 云 计 算 环境 中 ， 数 据 中 心 是 云 计 算 硬件 架构 底层 的 独立 计算 单位 。 数 据 中 心 的 基础 设施 通常 由 数 以 万 计 的 计算 机 构成 ， 随 
之 而 来 的 一 个 待 解决 的 问题 是 数据 中 心 巨 大 的 能 源 消 耗 。 以 能 耗 有 效 利 用 率 PUE 为 例 ，PUE= 数 据 中 心 总 设备 能 耗 /IT 设备 能 耗 ， 
很 多 企业 构建 的 数据 中 心 PUE 都 在 2 以 上 ， 也 就 是 说 如 果 有 1000 瓦 能 源 ， 只 有 500 瓦 被 有 效 使 用 ， 其 余 的 都 浪费 了 。 而 一 线 行业 
巨头 目前 的 能 耗 率 通常 在 1.3 左 右 ， 即 如 果 有 1000 瓦 能 源 ， 将 有 769 瓦 被 有 效 使 用 ， 粗 算 下 来 实际 使 用 率 差 了 一 半 。 针 对 此 问 
题 ， 国 内 外 学 者 及 相关 机 构 已 经 对 诸多 节能 技术 进行 研究 ， 很 多 降低 能 耗 的 方法 已 被 提出 。 


1. 组 件 级 的 节能 


对 于 计算 机 系统 组 件 的 设计 目标 是 使 这 些 组 件 能 够 按 使 用 率 成 比例 的 消耗 能 源 ， 即 存储 系统 中 的 缓存 、 内 存 及 磁盘 等 没有 使 
用 的 部 分 不 消耗 或 只 消耗 很 少 能 量 。 组 件 级 的 节能 主要 包括 CPU 组 件 节能 和 存储 组 件 节能 两 种 形式 。 解 决 服务 器 能 耗 问题 的 主 
流 技术 是 动态 电压 和 频率 缩放 DVFS (Dynamic Voltage and Frequency Scaling) 方法 。 其 核心 思想 是 通过 动态 调整 CPU 的 电 
压 和 频率 ， 使 其 能 动态 适应 负载 的 变化 ， 进 而 实现 节能 。 基 于 DVFS 的 节能 技术 都 是 利用 物理 机 CPU 的 空闲 时 间 来 降低 能 耗 。 对 


于 云 数据 中 心 ， 人 们 对 虚拟 机 的 能 耗 更 感 兴 趣 。 显 然 ， 基 于 DVFS 的 节能 技术 不 能 直接 应 用 于 虚拟 化 技术 的 云 数据 中 心 。 
2. 服 务 器 整合 


服务 器 整合 是 通过 虚拟 化 技术 进行 节能 ， 利 用 虚拟 机 动态 迁移 机 制 进行 服务 器 整合 ， 使 一 些 物理 机 处 于 空闲 状态 ， 然 后 通过 
使 其 处 于 休眠 或 天 机 状态 ， 达 到 节能 效果 。 针 对 虚拟 化 集群 ， 应 考虑 关 停 资源 代价 、 采 用 服务 器 整合 策略 实现 节能 。 


3 数据 副本 管理 


MapReduce 的 开源 实现 Hadoop 的 分 布 式 文件 系统 ， 其 默认 地 对 每 个 数据 项 保持 3 个 副本 。3 个 副本 意味 着 300% 的 高 昂 设 
备 运营 费用 。 这 种 典型 的 超额 配置 保证 了 在 资源 需求 高 峰 期 间 能 维持 数据 的 可 用 性 。 研 究 表 明 : 通过 改变 数据 副本 放置 策略 可 以 
有 效 节省 系统 能 耗 。 通 过 修改 Hadoop 的 任务 调度 和 数据 块 分 配 算法 ， 使 任务 调度 与 数据 副本 位 置 相互 感知 ， 从 而 达到 节能 灵 
果 。 


4. 关 闭 节点 


研究 表明 : 可 以 通过 减少 在 线 节点 数量 ， 实 现 节点 数量 与 能 耗 之 间 的 最 佳 折 中 。 目 前 ， 关 于 节点 管理 策略 的 研究 思路 主要 采 
用 机 器 学 习 理 论 进行 决策 ， 使 不 常用 的 节点 处 于 低能 耗 或 关闭 状态 来 达到 节能 的 目的 。 例 如 ， 采 用 基于 Bell-man 方 法 ， 确 定 何 
时 让 一 些 节 点 进入 睡眠 状态 来 实现 节能 的 目的 。 用 能 量 感知 的 节点 启 停 算 法 ， 在 保证 最 大 性 能 前 提 下 ， 利 用 系统 行为 信息 和 学 习 
模型 ， 预 测 系统 能 耗 量 及 CPU 负载 ， 进 而 改进 任务 调度 决策 。 网 络 节 点 上 的 智能 设备 从 资源 、 能 耗 和 负载 行为 中 直接 学 习 (机 
器 学 习 ) ， 进 行 能 耗 管 理 和 自 适 应 的 任务 调度 。 也 可 以 通过 动态 重 定位 虚拟 机 ， 使 在 线 节 点 数量 保持 最 小 ， 空 闪 节 点 最 多 ， 然 后 
使 空 闪 节 点 处 于 不 活动 状态 达到 节能 目的 。 


10.1.4 云 计算 技术 新 形态 


1. 存 储 云 
存储 云 就 是 把 数据 上 传 到 云端 ， 并 在 使 用 时 将 其 从 云端 取 回 来 。 
2. 软 件 云 


软件 云 除 了 数据 之 外 ， 程 序 本 身 也 可 以 从 云端 调用 。 最 开始 的 软件 云 只 能 做 到 个 人 设置 的 云端 同步 ， 比 如 无 论 你 在 哪 台 计算 
机 上 开启 浏览 器 ， 浏 览 器 皮肤 、 收 藏 来 、Cookie 信 息 都 是 完全 一 致 的 ， 不 需要 进行 重复 设置 。 目 前 已 经 有 部 分 软件 可 以 做 到 这 
一 点 了 。 


下 一 步 是 程序 代码 的 云端 调用 ， 例 如 函数 库 ， 软 件 将 不 会 再 出 现 烦人 的 升级 提示 ， 而 是 直接 在 云端 运行 最 新 版 本 ， 然 后 在 本 
地 显示 结果 。 


十 年 之 内 ， 我 们 安装 软件 时 填写 的 路 径 将 会 多 出 一 些 选 择 。 例 如 ， 目 前 我 们 只 能 填写 C: \ 之 类 的 盘 符 ， 但 不 久之 后 ， 我 们 
可 以 选择 把 软件 “安装 在 数字 云 盘 、 安 装 在 百度 云 盘 ”。 即 使 重 装 了 系统 ， 但 只 要 安装 了 云 盘 客户 端 ， 便 可 以 对 这 些 安装 在 云 盘 
上 的 软件 进行 调用 。 


3. 系 统 云 


当 云 盘 的 功能 逐渐 强大 ， 开 始 支 持 越 来 越 多 的 软件 安装 在 云 盘 上 时 ， 云 盘 客 户 端 便 开 始 向 云 系 统 的 方向 发 展 。 那 时 才 标志 着 
真正 迈 入 了 云 的 时 代 。 


4. 统 一 云 
系统 云 并 非 云 技术 的 终极 ， 云 技术 的 终点 是 统一 云 。 


百年 之 内 ， 提 供 云 系统 的 厂商 们 将 会 发 现 数据 不 应 存在 界限 ， 不 同系 统 的 用 户 数据 完全 可 以 共享 。 就 是 将 不 同系 统 中 的 数据 
统一 为 同一 个 数据 库 ， 所 有 系统 从 一 个 云 数 据 库 中 调 取 资料 。 对 于 个 人 来 说 ， 就 达到 了 本 文 之 前 所 描述 的 : 无 论 你 使 用 
Windows 或 Ubuntu， 都 可 以 打开 同一 篇 文档 ， 使 用 同一 个 软件 。 


“ 云 ” 的 基本 特征 是 无 处 不 在 ,任何 限制 、 约 束 、 空 白 都 说 明 云 的 发 展示 至 圆满 。 当 我 们 有 一 天 能 够 之 无 阻碍 地 处 理 所 有 的 
信息 ， 而 无 须 考虑 时 间 、 地 点 、 平 台 、 国 家 、 上 三 家 时 ， 云 的 世界 才 算 真正 到 来 。 


10.2 云 计算 安全 技术 研究 进展 


伴随 着 云 计 算 的 快速 发 展 ， 越 来 越 多 的 企业 或 个 人 将 数据 托管 到 云端 。 因 为 云 计算 具有 虚拟 化 、 可 伸缩 的 特性 ， 所 以 无 法 保 
证 用 户 托管 到 云端 中 的 数据 安全 性 ， 导 致 安全 事件 屡 有 发 生 ， 很 多 人 抱 着 观望 和 谨慎 的 态度 看 待 云 计算 。 云 计算 安全 问题 已 成 为 
阻碍 云 计算 推广 的 障碍 之 一 。 


数据 的 安全 包括 两 个 方面 : 一 是 保证 数据 完整 、 不 会 丢失 ; 二 是 保证 数据 不 会 泄露 和 非法 访问 。 云 计算 的 虚拟 化 、 多 租户 和 
动态 性 加 重 了 安全 问题 。 云 计算 数据 的 安全 性 问题 解决 不 了 ， 会 影响 云 计 算 的 发 展 和 应 用 。 私 有 云 是 针对 某 个 企业 单独 构建 的 ， 
它 的 基础 设施 和 云 平台 、 云 服务 由 企业 控制 ， 因 而 也 就 能 保障 数据 的 安全 性 和 服务 质量 。 


1. 云 计算 安全 现状 


对 云 安全 研究 最 活跃 的 组 织 是 在 2009 年 的 RSA 大 会 上 宣布 成 立 的 一 个 非 僵 利 性 组 织 云 安全 联盟 

(CloudSecurityAlliance，CSA) 。 该 组 织 专注 于 云 计算 的 安全 体系 及 安全 标准 等 领域 ， 在 2009 年 12 月 发 布 了 一 份 云 计 算 服 务 
的 安全 实践 手册 《 云 计算 安全 指南 》。 该 指南 总 结 了 云 计算 的 技术 架构 模型 、 安 全 控制 模型 及 模型 之 间 的 映射 关系 。 在 2011 年 
11 月 发 布 了 第 3 版 云 计算 服务 的 安全 实践 手册 《 云 计 算 关 键 领域 安全 指南 》， 该 指南 从 架构 、 治 理 和 实施 3 个 部 分 ，14 个 关键 领 
域 对 云 安全 进行 了 深入 阐述 ， 重 点 讨论 了 当 企业 部 署 云 计算 系 统 时 面临 的 安全 风险 并 且 给 出 了 相应 的 安全 建议 。 在 当前 尚 无 一 个 
被 业界 广泛 认可 和 普遍 遵从 的 国际 性 云 安全 标准 的 形势 下 ， 该 指南 对 业界 有 着 积极 的 影响 。 云 计算 服务 对 使 用 者 来 说 ， 面 临 着 特 
权 用 户 的 接 入 、 可 审查 性 、 数 据 位 置 、 数 据 隔离 、 数 据 恢复 、 调 查 支 持 及 长 期 生存 性 等 潜在 的 安全 风险 问题 。 欧 洲 网 络 和 信息 安 
全 研究 所 ENISA 发 布 的 云 计算 安全 白皮书 指出 : 云 计算 系统 的 使 用 ,会 带 来 数据 处 理 、 保 护 不 透明 性 等 安全 问题 。 


2. 云 计算 安全 关键 技术 
针对 云 计 算 面 临 的 安全 挑战 ， 国 内 外 研究 者 对 云 计算 安全 的 一 些 关 键 技术 进行 了 相关 研究 ， 主 要 集中 在 以 下 几 方 面 。 
1) 加 密 数据 处 理 


用 户 数据 应 以 密 文 形式 存储 在 云端 中 ， 如 果 能 够 直接 在 密 文 上 进行 计算 ， 则 有 利于 保证 数据 安全 和 用 户 隐私 。 目 前 关于 密 文 
处 理 的 研究 主要 集中 在 基于 密 文 的 检索 与 处 理 。 比 如 ，1BM 研 究 人 员 开 发 了 一 种 完全 同 态 加 密 方案 ， 该 方案 使 云 应 用 在 不 解密 数 
据 的 状态 下 处 理 数据 。 若 该 技术 进入 实施 阶段 ， 就 可 解决 云 中 数据 在 整个 生命 周期 内 的 加 密 问题 。 微 软 公司 提出 的 
Cryptographic Cloud Storage 中 实现 了 基于 密 文 的 检索 、 基 于 属性 的 加 密 机 制 、 数 据 持 有 性 证 明 等 技术 。 


2) 数据 隐私 保护 


在 云 中 数据 的 生成 与 计算 阶段 ， 引 入 了 集中 信息 流 控制 和 差分 隐私 保护 技术 ， 防 止 计算 过 程 中 非 授权 的 隐私 数据 被 泄露 ， 并 
支持 对 计算 结果 的 自动 解密 。 


在 云 中 数据 的 存储 和 使 用 阶段 ， 提 出 了 基于 客户 端的 隐私 管理 工具 来 支持 用 户 控 制 自 己 的 敏感 信息 在 云端 的 存储 和 使 用 。 
3) 可 信 云 计算 


将 可 信 计 算 技术 引入 云 计算 ， 以 可 信赖 方式 向 用 户 提供 云 服务 是 云 计算 发 展 的 必然 趋势 。Santos 等 人 提出 了 一 个 可 信 云 计 
算 平台 ， 通 过 该 平台 可 以 为 用 户 提供 一 个 密闭 的 箱 式 执行 环境 ， 确 保 用 户 虚拟 机 运行 的 安全 性 。 


4) 云 安全 体系 与 技术 框架 


结合 公 钥 基础 设施 、 轻 量 目录 访问 协议 、 单 点 登录 等 技术 的 云 计 算 解决 方案 ， 引 入 可 信和 的 第 三 方 提 供 安全 认证 ， 并 根据 云 计 
算 系 统 分 层 的 特性 ， 分 别 给 物理 层 、 基 础 设施 即 服务 、 平 台 即 服务 、 软 件 即 服务 提供 安全 认证 。 提 出 一 个 包含 云 计 算 服务 体系 和 
云 计 算 安全 标准 及 测评 体系 的 云 计算 安全 框架 ， 这 个 框架 可 以 为 用 户 的 安全 目标 提供 技术 支撑 。 


国内 外 关于 云 计 算 安 全 问题 的 研究 刚刚 起 步 ， 虽 然 很 多 的 组 织 和 机 构 都 在 积极 地 对 云 计算 的 安全 问题 进行 分 析 和 研究 ， 但 主 
要 是 CSA 及 微软 、 谷 歌 机 构 所 给 出 的 云 计算 安全 问题 的 初步 解决 方案 。 


10.3” 云 计算 标准 规范 研究 进展 


云 计 算 目 前 还 没有 统一 的 、 标 准 的 技术 体系 结构 ， 如 果 不 同 厂家 对 云 计 算 提 供 不 同 的 解决 方案 ， 则 会 导致 不 同 厂家 设备 之 间 
的 硬件 转移 和 互通 、 互 联 、 互 操作 等 方面 出 现 问题 ， 阻 碍 云 计算 的 发 展 。 只 有 研究 和 制定 云 计算 相关 的 标准 和 技术 ， 才 是 云 计 算 
大 规模 占领 服务 市 场 的 关键 ， 云 计算 的 标准 化 工作 正在 进行 ， 未 来 用 户 可 以 在 不 同 云 计 算 服务 商 之 间 “ 漫 游 ”。 


目前 ， 已 有 30 多 个 国际 组 织 参 与 到 云 计 算 标准 的 制定 工作 中 。 云 计算 标准 体系 被 划分 为 为 7 部 分 28 个 细 分 领域 ，2015 年 国 
内 有 17 个 云 计算 新 标准 研究 立项 。 由 我 国 重点 参与 的 两 项 云 计算 国 际 标准 《信息 技术 云 计算 概述 和 词汇 》 和 《信息 技术 云 计 算 
参考 框架 》 已 正式 发 布 。 


全 球 参与 云 计算 标准 化 工作 的 企业 和 组 织 有 很 多 ， 很 多 企业 和 组 织 为 云 计算 成 立 了 专门 的 部 门 ， 但 其 中 仅 有 少量 的 标准 得 到 
广泛 认可 。 主 要 是 因为 云 计算 还 处 于 不 断 发 展 阶段 ， 业 界 各 方 很 难 达成 共识 。 要 实现 云 计算 真正 的 产业 化 并 步 入 平稳 发 展 阶段 ， 
必须 制定 统一 的 技术 标准 和 运营 标准 ， 确 保 云 计算 平台 的 互 操作 性 及 云 服务 的 可 移植 性 ， 即 应 优先 制定 云 服 务 提供 商 之 间 的 接口 
标准 以 及 云 服务 提供 商 与 用 户 之 间 的 接口 标准 。 


10.4 云 计 算 硬件 基础 建设 进展 


我 国 一 线 的 云 计算 巨头 如 阿里 云 、 腾 讯 云 ， 以 数据 中 心 的 服务 器 数量 超过 50 万 台 ， 这 是 作为 衡量 云 计算 厂商 的 最 基础 的 硬 
指标 。 数 据 中 心 建设 进入 了 高 峰 期 ， 云 计算 厂商 的 服务 器 数量 有 可 能 会 突破 100 万 台 。 而 阿里 云 可 能 是 最 先 突破 这 一 数据 的 厂 
商 。 


另 一 方面 ， 随 着 亚马逊 、 华 为 、 百 度 开放 云 等 纷纷 扩建 数据 中 心 ， 以 便 在 云 计算 市 场 开展 竞争 ， 更 多 的 数据 中 心 在 各 地 也 被 


建立 起 来 ， 但 也 会 有 数据 中 心 可 能 因为 经 营 不 善 而 关闭 。 


我 国政 府 也 积极 部 署 云 计算 基础 设施 ， 许 多 一 线 云 计算 厂商 在 全 球 范围 内 开始 布局 数据 中 心 。 例 如 ， 阿 里 云 在 美国 硅谷 设立 
了 两 个 数据 中 心 ， 在 新 加 坡 建 立 了 一 个 数据 中 心 ， 在 欧洲 与 德国 电信 合作 建立 数据 中 心 ， 在 迪拜 与 Meraas 合 作 构 建 数 据 中 心 
等 。 华 为 、 腾 讯 云 及 其 他 云 计 算 厂商 也 会 共同 合作 ， 继 续 扩 建 数 据 中 心 。 另 外 ， 在 国外 构建 数据 中 心 时 ， 云 计算 提供 商 还 应 遵守 
当地 法 律 。 


随 着 云 计 算 市 场 的 持续 扩张 ， 尤 其 是 各 巨头 云 计算 业务 高 速 增长 ， 云 计算 提供 商 需要 建设 更 多 数据 中 心 以 满足 业务 需求 。 例 
如 谷歌 宣布 ， 到 2017 年 年 底 将 在 全 球 建设 12 个 新 的 数据 中 心 ， 以 提高 其 云 服务 空间 。 从 国内 看 ，“ 互 联网 +”、 大 数据 策略 和 
大 数据 综合 试验 区 建设 进入 推进 落实 阶段 ， 需 要 更 多 数据 中 心 的 支撑 。 

各 地 政府 对 大 数据 、 云 计算 等 战略 性 新 兴 产 业 也 高 度 重 视 ， 大 部 分 省 市 出 台 了 大 数据 相关 规划 和 实施 方案 ， 其 中 对 云 计 算 进 
行 了 部 署 ， 并 对 数据 中 心 引 进 给 予 诸多 优惠 政策 ， 硬 件 厂商 、 运 营 商 与 各 地 的 大 数据 、 云 计算 合作 也 进入 推进 阶段 ， 全 国 范围 内 
一 大 批 数 据 中 心 正在 或 即将 开工 建设 ,我 国 数据 中 心 仍 将 处 于 高 速 建设 发 展 时 期 。 

1 数据 中 心 的 云 化 

目前 ， 云 计算 正在 转化 传统 的 数据 中 心 ， 企 业 将 数据 中 心虚 拟 化 ， 并 将 工作 负荷 和 数据 扩展 到 了 云端 ”。 据 Gartner 调 查 显 
示 ， 企 业 数 据 中 心 的 发 展 路 径 为 : 从 数据 中 心 的 虚拟 化 到 私有 云 、 混 合 云 ， 直 至 以 “ 云 爆炸 ”方式 获取 外 部 云 资 源 ， 提 升 私 有 云 
的 能 力 。 未 来 ，72% 的 服务 器 工作 负荷 将 实现 虚拟 化 ， 近 1/3 的 企业 将 具有 私有 云 的 能 力 。 


2. 云 计算 的 未 来 属于 Paas 


云 计算 的 3 种 服务 模型 即 基础 架构 即 服务 (laaS) 、 软 件 即 服务 (SaaS) 和 平台 即 服务 (PaaS) 正在 快速 演变 。 由 于 企业 
对 软件 开发 和 维护 所 投入 的 时 间 和 资金 有 限 ， 导 致 SaasS 原 地 停留 。1aaS 为 用 户 提供 灵活 性 和 自主 权 的 同时 ， 增 添 了 复杂 性 。 另 
外 ，laas 可 能 无 法 通过 门户 提供 系统 实时 编制 (Orchestration) 能 力 。Paas 屏 蔽 了 底层 的 硬件 基础 架构 ， 为 用 户 提供 履 盖 软件 
全 生命 周期 中 需求 分 析 、 设 计 、 开 发 、 测 试 、 部 署 、 运 行 及 维护 各 阶段 所 需 的 工具 ， 降 低 了 用 户 进行 应 用 程序 开发 的 技术 难度 及 
开发 成 本 。 因 此 ， 有 理由 相信 ， 更 多 的 中 小 企业 将 会 在 未 来 的 几 年 采用 Paas 云 。Paas 将 是 云 计算 的 最 终 目 标 。 在 一 个 通用 、 可 
移植 的 平台 上 进行 9aas 或 私有 软件 的 开发 ， 将 有 助 于 打破 基础 架构 的 蔡 钢 ， 并 能 使 应 用 更 具有 可 移植 性 、 健 壮 性 和 可 扩展 性 。 


10.5 云 计算 服务 个 性 化 研究 进展 


国内 包括 三 大 运营 商 在 内 的 各 家 云 计算 服务 商都 上 线 了 各 类 数据 服务 ， 但 云 服务 商 刚 推出 的 数据 服务 种 类 比较 少 且 简单 ， 更 
重要 的 是 还 需要 经 过 大 量 用 户 的 验证 。 


10.5.1 ”资源 调度 服务 


资源 调度 的 目的 是 实现 作业 与 资源 的 优化 匹配 ， 把 不 同 的 作业 以 较 合 理 的 方式 分 配 到 相应 的 节点 去 完成 。 由 于 分 布 环境 中 各 
节点 的 运行 速度 、 主 机 的 负载 、 网 络 通信 的 时 间 等 是 动态 变化 的 ， 因 此 资源 调度 是 一 个 非常 复杂 的 NP 问 题 。 


1. 基 于 经 济 学 的 调度 


由 于 云 计算 的 商业 运营 模式 ， 使 其 经 济 因素 成 为 了 作业 调度 系统 重点 考虑 的 调度 指标 。 国 内 外 科技 人 员 提 出 了 不 同 的 调度 算 
法 。 例 如 ，Buyya 等 人 首次 提出 面向 市 场 的 云 计算 体系 结构 和 面向 市 场 的 资源 分 配 和 调度 方法 ， 该 体系 结构 通过 资源 分 配器 实现 
资源 使 用 者 与 资源 提供 者 之 间 的 协商 ， 来 保证 资源 优化 分 配 ; You 等 人 提出 了 一 种 基于 市 场 机 制 的 云 资源 分 配 策略 ， 并 设计 一 个 
基于 遗传 基因 的 价格 调节 算法 来 处 理 市 场 的 供需 平衡 问题 ; 徐 保 民 等 人 模拟 市 场 经 济 中 的 有 天资 源 公 平分 配 的 原则 ， 提 出 了 一 个 
基于 伯 格 模型 的 资源 公平 调度 算法 。 


2. 以 服务 质量 为 中 心 的 调度 


服务 质量 QoS (Quality of Service) 是 衡量 用 户 使 用 云 计算 服务 满意 程度 的 标准 。 研 究 基 于 Qos 的 调度 通常 以 最 小 完成 时 
间或 最 优 跨度 等 为 目标 。 目 前 已 有 很 多 基于 Qos 的 研究 。 例 如 Abdullah 等 人 研究 了 基于 可 划分 负载 理论 
(DivisibleLoadTheory) ， 虽 在 减少 整体 作业 处 理 时 间 的 调度 问题 。 根 据 作 业 的 运行 进度 和 剩余 时 间 ， 动 态 调整 作业 获得 的 资 
源 量 ， 以 便 作业 尽 可 能 地 在 截止 时 间 内 完成 。 


3. 以 资源 利用 率 为 目标 的 调度 


云 计 算 区 别 于 单机 虚拟 化 技术 的 重要 特征 是 通过 整合 物理 资源 形成 资源 池 ， 并 通过 资源 管理 层 实现 对 资源 池 中 虚拟 资源 的 调 
度 。 云 计算 采用 的 商业 理念 及 成 熟 的 虚拟 化 技术 ， 使 得 它 的 资源 管理 呈现 出 不 同 特性 。 云 服务 提供 商 针 对 如 何 分 配 和 迁移 虚拟 机 
到 物理 主机 的 问题 进行 研究 ， 提 出 了 一 种 优化 动态 调度 时 间 的 资源 调度 方法 。 从 约束 的 QoS 资源 分 配 问题 出 发 ， 引 入 博弈 论 ， 给 
出 了 公平 的 资源 调度 算法 。 云 服务 提供 商 对 分 布 系统 ， 特 别 是 云 计算 系统 ， 利 用 博弈 论 进行 资源 管理 的 算法 ， 具 有 较 好 的 本 地 响 
应 时 间 。 


10.5.2 混合 云 服务 


随 着 云 计 算 成 为 主流 ， 企 业 采 用 云 计 算 已 经 成 为 了 必然 的 选择 。 目 前 大 多 数 企业 采用 的 是 公有 云 或 私有 云 ， 以 满足 不 同 的 需 
私有 云 意味 着 用 户 连 接 的 是 本 地 资源 。 尽 管 它 缺 乏 灵 活性 ， 价 格 昂贵 ， 但 是 对 于 某 些 IT 部 门 如 需要 处 理 各 种 规章 制度 的 组 织 
来 说 ， 私 有 云 不 可 或 缺 。 公 有 云 意味 着 用 户 需 要 连接 外 部 的 由 云 服务 提供 商 提供 的 服务 。 公 有 云 的 使 用 在 计算 领域 掀起 了 一 场 革 


全 
pho 


目前 ， 既 可 以 使 用 私有 云 服务 用 于 某 种 目标 ， 又 可 以 使 用 公有 云 用 于 其 他 目的 ， 因 此 混合 云 已 成 为 企业 天 注 的 焦点 。 混 合 云 
不 仅 是 一 个 可 定制 的 解决 方案 ， 而 且 其 架构 结合 了 私有 云 (可 信 、 可 控 、 可 靠 ) 和 公有 云 (简单 、 低 成 本 、 灵 活 ) 的 优势 。 
此 ， 未 来 真正 被 跨国 的 云 服务 提供 商 视 为 爆发 点 的 应 该 是 混合 云 服务 市 场 。 


公有 云 平稳 发 展 ， 而 私有 云 和 混合 云 发 展 迅 速 。 云 服务 的 3 种 形态 如 图 10.1 所 示 。 


图 10-1 云 服 务 的 3 种 形态 


10.6 云 计算 商务 模式 创新 研究 


云 计 算 的 商务 模式 ， 在 于 服务 形式 的 多 样 性 。 云 计算 充分 利用 移动 网 络 的 便利 性 ， 为 需要 者 提供 信息 服务 ， 不 管 是 医 患 之 
间 、 师 生 之 间 、 店 主 与 客人 之 间 ， 还 是 司机 与 乘客 之 间 等 ， 凡 是 需要 信息 传递 的 客体 之 间 ， 都 需要 信息 服务 ， 都 有 云 计算 商业 机 


全 
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10.6.1 云 计算 高 业 模 式 创新 

云 计 算 的 商业 模式 在 于 服务 模式 的 创新 。 在 工业 、 农 业 、 医 疗 、 教 育 、 安 防 和 金融 等 行业 ， 云 服务 模式 多 样 ， 信 息 化 渗透 到 
人 们 生活 的 方方面面 。 

: 多 媒体 : 智慧 城市 海量 视频 监控 与 大 数据 分 析 。 

. 物 联 网 : 智能 物业 ， 实 现 消防 、 电 梯 等 设备 的 远程 监控 与 维护 。 


“ 金融 : 连接 微 信 和 支付 宝 ， 实 现 更 便捷 的 支付 和 投资 渠道 。 例 如 ， 天 了 弘 基 金 是 第 一 个 核心 系统 在 云 上 的 基金 公司 ， 基 于 阿 
里 云 平台 ， 在 几 小 时 内 就 搭建 了 所 需要 的 云 计算 环境 。 上 云 后 其 性 能 表现 优越 ， 实 时 请 求 处 理 可 达到 每 秒 11000 笔 。 


“ 医疗 : 建立 个 人 健康 数据 云 平 台 ， 实 现 分 级 诊疗 和 远程 会 诊 。 社 区 医院 可 以 通过 平台 为 患者 准确 预约 合适 的 上 级 医院 ， 找 
到 对 应 专科 和 具体 专家 ， 并 代为 挂号 ， 方 便 跨 地 域 转 诊 。 当 过 到 疑难 杂 症 时 ， 还 可 以 通过 平台 寻找 同行 专家 远程 会 诊 。 


: 政务 : 办 公 系 统 上 云 ， 全 面 打通 各 级 政府 信息 流 。 


: O2O: 借助 云 计算 大 数据 ， 重 塑 传统 服务 行业 。 


. 莫 课 : 大 规模 公开 在 线 课程 。 资 源 放 在 云端 ， 方 便 在 任何 地 方 任何 时 候 学 习 。 同 类 型 的 还 有 翻转 课堂 ， 学 生 在 家 看 视频 上 
课 ， 在 学 校 写 作业 ， 与 教师 、 同 学 讨论 。 


10.6.2 云 计算 改变 产业 布局 


1. 行 业 巨 头 的 云 转身 


微软 以 云 为 先 ， 尽 可 能 地 将 更 多 的 产品 和 服务 进行 去 化， 推出 了 基于 Azure、Windows Intune 企 业 移 动 套件 和 云 解决 方 
案 。Office 推 出 了 iPad 版 ，Win10 免 费 ， 把 软件 称 为 一 种 服务 。Oracle 云 为 先 ， 人 为 重 ， 全 面 进入 云 服 务 在 SaaS、PaaS、1aaS 
三 个 层面 的 业务 。VMware 拥 有 完整 的 私有 云 、 公 有 云 和 混合 云 解决 方案 。 


传统 基础 设施 提供 商 兼 并 、 整 合 ， 做 大 、 做 强 ， 构 建 完成 云 解决 方案 。 传 统 软件 厂商 向 云 转型 已 成 必由之路 。1BM 是 云 计 算 
的 最 早 倡导 者 ， 积 极 从 硬件 向 软件 进而 向 服务 转型 ， 收 购 了 SoftLayer、Cloudant 等 多 达 十 几 家 的 云 服务 提供 商 。 浪 潮 公 司 是 国 
内 领先 的 云 服务 提供 商 ， 发 布 了 “以 数据 为 核心 ”的 云 战略 ， 利 用 云 计算 核心 装备 ， 软 、 硬 件 业务 整合 的 技术 优势 及 大 数据 分 析 
能 力 ， 推 进 了 云 计 算 中 心 的 建设 。 戴 尔 公司 发 布 “任意 云 ” 战 略 。 提 出 “ 云 就 绪 、 云 部 署 、 云 管理 ”三 步 走 的 云 演进 策略 ， 并 收 
购 了 EMC， 补 全 了 虚拟 化 和 存储 产品 线 。 


2. 互 联网 行业 持续 繁荣 


亚马逊 围绕 AWs 已 经 形成 了 一 个 生机 勃勃 的 云 计算 生态 系统 ， 涵 盖 云 计算 、 云 存储 和 数据 库 等 50 种 以 上 产品 和 服务 ， 使 
AWSs 云 服务 的 深度 和 广度 ， 以 及 所 提供 的 丰富 功能 ， 远 超 其 他 云 服 务 商 。AWs 遍 布 全 球 190 多 个 国家 ， 拥 有 数 十 万 的 客户 ， 并 
且 有 数 干 个 系统 集成 商 帮 助 客户 向 AWS 迁 移 ， 数 以 干 家 ISV 在 使 自己 的 软件 顺畅 地 运行 在 AWS。 


阿里 云 飞 天 平台 以 laaS 服 务 为 基础 不 断 增 加 新 的 服务 ， 对 AWS， 提供 了 20 种 以 上 云 服 务 。 中 国 云 计 算 市 场 需求 上 旺盛， 本土 
厂商 机 遇 良 多 ， 市 场 需求 表现 为 : 


* 社会 信息 化 需求 快速 发 展 ， 需 要 更 多 种 类 的 信息 化 应 用 。 

` 企业 客户 对 低 成 本 、 高 效率 的 信息 化 应 用 需求 越 来 越 强 烈 

* 垂直 行业 的 云 应 用 正在 取得 突破 ， 如 智能 家 居 与 云 计算 的 结合 。 

* 工业 4.0 与 智慧 城市 的 大 力 推广 ， 使 云 数 据 中 心 规模 更 大 ， 数 量 更 多 。 

* 互联 网 、 物 联网 快速 发 展 ， 用 户 与 终端 规模 剧 增 ， 需 要 强大 的 计算 能 力 对 海量 数据 进行 深入 分 析 。 
3. 移 动 商 务 的 云 化 


移动 云 计算 的 用 户 终端 通常 是 桌面 终端 或 移动 终端 ， 近 年 来 随 着 移动 互联 网 与 移动 电子 商务 的 快速 友 展 ， 移 动 互联 网 用 户 接 
近 8 亿 ， 微 信用 户 已 突破 6 亿 ， 在 手机 终端 形成 的 市 场 已 悄然 聚集 了 数 万 亿 的 巨大 财富 。“ 微 ”经 济 时 代 已 经 来 临 ，“ 移 动 云 计 
算 ” 市 场 潜力 巨大 。 要 实现 以 上 微 信 经 济 和 移动 云 计 算 ， 企 业 IT 架 构 和 流程 需要 变更 和 扩展 ， 同 样 ， 云 安全 也 是 一 大 挑战 。 


10.6.3 ” 云 计 算 产 业 友 展 趋势 


1. 云 分 析 将 无 处 不 在 


云 分 析 几 乎 影响 着 每 位 消费 者 和 每 个 商业 领域 。 通 常 ， 消 费 者 不 会 注意 到 云 ， 因 为 云 在 不 同 的 应 用 程序 的 后 台 提 供 支 持 。 云 
分 析 正 变 得 越 来 越 普 遍 ， 从 零售 建议 到 数字 营销 ， 从 金融 风险 管理 到 初创 企业 衡量 其 新 产品 的 效果 ， 从 基于 基因 学 的 产品 开发 到 
快速 处 理 临 床 试验 数据 ， 这 些 领 域 都 通过 借助 云 分 析 而 达到 新 的 水 平 。 


AWS 已 经 清晰 的 看 到 了 这 一 趋势 ， 因 为 数据 仓库 服务 Amazon Redshift 已 经 成 为 亚马逊 公司 历史 上 增长 最 快 的 云 服 务 。 
Amazon Redshift 是 许多 企业 使 用 的 第 一 个 云 服务 。 随 着 越 来 越 多 的 企业 开始 了 解数 据 分 析 对 其 发 展 的 作用 ， 预 计 该 服务 将 实 
现 爆发 式 增长 。 


2. 云 将 实现 自助 分 析 


业务 部 门 借助 云 服务 的 资源 ， 在 云 中 迅速 创建 自己 的 数据 仓库 ， 并 可 根据 其 需求 和 预算 选择 数据 仓库 的 规模 和 速度 。 它 可 以 
是 一 个 在 白天 运行 、 拥 有 两 个 节点 的 小 型 数据 仓库 ;也 可 以 是 一 个 仪 在 星期 四 下 午 运行 几 个 小 时 、 拥 有 1000 个 节点 的 大 型 数据 
仓库 ; 或 是 一 个 在 夜间 运行 ， 第 二 天 向 工作 人 员 提 供 所 需 数据 的 数据 仓库 。 


全 球 商 业 出 版 物 《 金 融 时 报 》 如 何 使 用 数据 分 析 就 是 一 个 很 好 的 例子 。《 金 融 时 报 》 拥 有 120 年 的 历史 ， 已 经 在 诸多 方面 进 
行 了 变革 ， 它 通过 使 用 云 来 运行 商业 智能 (BI) 工作 负载 ， 得 以 分 析 所 有 报道 ， 使 报纸 更 加 个 性 化 ， 为 读者 提供 定制 化 的 阅读 体 
验 ， 彻 底 地 改变 向 读者 提供 内 容 的 方式 。 


借助 新 的 商业 智能 系统 ，《 人 金融 时 报 》 每 天 能 够 实时 分 析 140 篇 报道 ， 并 提高 了 完成 分 析 任 务 的 敏捷 性 ， 分 析 所 需 时 间 从 几 
个 月 缩短 到 几 天 。 此 外 ，《 人 金融 时 报 》 也 扩展 了 其 商业 智能 ， 更 有 针对 性 地 向 读者 提供 广告 。 通 过 使 用 Amazon Redshift， 
《金融 时 报 》 每 天 能 够 处 理 1.2 亿 个 独立 事件 ， 并 集成 内 部 日 志和 外 部 数据 源 ， 为 读者 打造 一 份 更 加 动态 的 报纸 。 


3. 云 让 一 切 变 得 智能 化 

一 切 都 可 以 变 得 “智能 化 ”， 智 能 手表 、 智 能 衣服 、 智 能 电视 、 智 能 家 居 和 智能 汽车 等 ， 绝 大 多 数 的 智能 设备 的 软件 都 是 在 
云端 运行 的 。 

无 论 是 家 里 的 温 控 器 、 手 腕 上 的 活动 跟踪 器 ， 还 是 漂亮 的 超 高 清 电视 上 的 智能 电影 推荐 ， 它 们 都 由 在 云 上 运行 的 分 析 引 擎 驱 
动 。 由 于 这 些 智能 产品 的 “智能 ”存在 于 云 中 ， 因 此 也 催生 了 新 一 代 设 备 ， 如 飞利浦 CityTouch 实 现 了 路 灯 照 明智 能 化 、。 

飞利浦 CityTouch 是 适用 于 整个 城市 的 智能 路 灯 管 理 系 统 。 它 提供 联网 的 道路 照明 解决 方案 ， 人 允许 整个 郊区 和 城市 智能 地 控 


制 路 灯 照 明 ， 做 到 实时 管理 天 黑 后 的 环境 ， 能 够 在 人 流量 较 高 的 街道 上 保持 良好 的 照明 ， 在 恶 务 天 气 或 环境 光线 过 上 暗 时 增加 亮 
度 ,或 者 在 人 员 稀 少 的 工业 区 调 暗 灯光 。 


这 项 技术 已 经 被 应 用 于 布拉格 和 伦敦 郊区 等 地 。CityTouch 正 在 使 用 云 作 为 后 端 技术 来 运行 该 系统 ， 并 从 路 灯 上 安装 的 传 感 
器 收集 的 大 量 数 据 中 提取 有 价值 的 信息 。 这 些 数据 使 城市 管理 人 员 更 好 地 了 解 天 黑 后 城市 的 情况 ， 并 采用 更 有 效 的 照明 管理 计 
划 ， 避 免 过 多 的 光污染 对 城市 居民 和 野生 动物 造成 的 不 良 影响 。 


4. 云 分 析 将 改善 城市 生活 


云 分 析 能 够 利用 城市 环境 信息 来 改善 世界 各 地 城市 居民 的 生活 条 件 。 芝 加 哥 是 首 批 在 全 市 范围 内 安装 传感器 来 永久 测量 空气 
质量 、 光 强度 、 音 量 、 热 量 、 降 水 、 风 和 交通 的 城市 之 一 。 来 自 这 些 传感器 的 数据 流入 云 中 进行 分 析 ， 用 于 改善 居民 生活 方式 ， 
并 且 收 集 的 数据 集会 在 云 上 公开 ， 以 供 研究 人 员 寻 找 分 析 数 据 的 创新 方法 。 


英国 的 彼得 伯 勒 市 议会 公开 了 其 收集 的 数据 集 ， 让 当地 社区 参与 创新 。 人 们 将 议会 公布 的 不 同 数据 集 进 行 整合 。 例 如 ， 人 们 
可 以 把 犯罪 数据 和 天 和 气 情 况 关 联 起 来 ， 帮 助 议 会 了 解 在 炎热 天 气 中 是 否 会 发 生 更 多 的 入 室 盗 窃 案 ， 以 便 他 们 更 好 地 分 配 当地 和 警 


力 ; 或 把 就 医 数据 与 天 气 情况 关联 起 来 ， 发 现 其 中 的 趋势 和 模式 。 在 云 的 帮助 下 ， 这 些 数据 开始 向 大 众 开放 ， 以 推动 创新 。 
5. 云 将 实现 工业 物 联网 
工业 机 械 将 与 互联 网 连接 ， 把 数据 传输 到 云 中 ， 以 获得 有 关 使 用 情况 的 观察 、 提 高 效率 ， 避 免 停机 。 


无 论 是 通用 电气 给 燃气 涡轮 机 安装 仪表 、 壳 牌 公司 在 油井 中 放置 传感器 、 凯 驰 配备 工业 清洗 机 车 队 ， 还 是 建筑 工地 使 用 
Deconstruction 的 传感器 ， 所 有 这 些 都 将 连续 地 向 云 发 送 数据 流 ， 以 供 实时 分 析 。 


长 久 以 来 ， 视 频 仅 用 于 存档 、 回 放 和 观看 。 借 助 云 强大 的 处 理 能 力 ， 一 个 新 的 趋势 应 运 而 生 : 把 视频 当 作 数 据 流 来 进行 分 
析 。 这 被 称 为 视频 内 容 分 析 (VCA) ， 适 用 于 零售 、 运 输 等 多 个 领域 。 常 见 的 应 用 领域 就 是 在 装 有 摄像 头 的 地 方 ， 如 商场 和 大 
型 零售 商店 。 视 频 分 析 可 以 帮助 商场 了 解 人 流 模式 ， 可 以 提供 人 流量 、 停 留 时 间 及 其 他 统计 信息 。 这 使 零售 商 能 够 改善 其 商店 布 
局 和 店内 营销 效果 。 


另 一 种 常见 的 应 用 领域 是 音乐 会 等 大 型 活动 的 实时 人 群 分 析 ， 以 了 解 整个 场地 的 人 流 情况 、 预 防 拥堵 ， 从 而 改善 参与 者 的 体 
验 。 交 通 部 门 也 利用 类 似 的 方式 疏 导 交 通 、 监 测 高 速 公 路 上 的 停 灌 车 辆 和 高 速 路 上 的 物体 及 其 他 运输 问题 。 


另 一 个 把 视频 内 容 分 析 运 用 在 消费 领域 的 创新 例子 是 Dropcam。Dropcam 对 联网 摄像 头 传送 的 视频 进行 分 析 ， 为 客户 提供 


警报 。 


VCA 也 成 为 了 体育 管理 的 一 个 重要 工具 ， 如 球 队 可 以 使 用 视频 从 不 同 角度 分 析 球 员 特 点 。 例 如 ， 在 一 场 英超 比赛 中 ， 球 队 
可 利用 许多 记录 下 来 的 视频 流 的 分 析 数 据 ， 来 改进 球员 的 训练 策略 ， 并 完善 具体 的 训练 计划 。 


7. 云 将 改变 医疗 分 析 
数据 分 析 正 迅速 成 为 分 析 健 康 危险 因素 和 改善 病人 护理 的 核心 ， 云 正在 发 挥 荐 至 天 重要 的 作用 ， 帮 助 实现 数字 化 医疗 。 


云 支持 创新 的 解决 方案 ， 如 飞利浦 Healthsuite (一 个 管理 医疗 数据 并 为 医生 和 患者 提供 支持 的 平台 ) 。 飞 利 浦 Healthsuite 
数字 化 平台 分 析 并 存储 着 从 3.9 亿 个 影像 检查 、 病 历 和 患者 输入 中 收集 的 15PB 患 者 数据 ， 为 医务 人 员 提 供 可 操作 数据 ， 这 些 数 据 
可 以 直接 影响 病 患 照护 。 这 项 技术 改变 了 世界 各 地 人 口 的 医疗 现状 ， 可 以 看 到 云 在 推动 患者 诊断 和 治疗 方面 发 挥 了 更 大 的 作用 。 


8. 云 将 实现 安全 的 分 析 


从 网 购 到 医疗 再 到 家 庭 自动 化 ， 数 据 分 析 在 如 此 多 的 新 领域 得 到 应 用 ， 因 而 分 析 数 据 的 安全 性 和 私密 性 变 得 至 关 重 要 。 在 存 
储 和 分 析 引 警 中 应 深度 集成 加 密 功 能 并 让 用 户 能 够 拥有 密 铀 ， 确 保 只 有 这 些 服务 的 使 用 者 有 权 访 问 数据 。 


云 计 算 产 业 前 景 美 好 ， 但 与 发 达 国家 相 比 ， 我 国 云 计算 市 场 还 未 出 现 “ 大 佬 ”公司 ， 市 场 规模 也 有 待 提高 ， 未 来 仍旧 需要 努 
力 追 赶 。 相 关 企业 需要 把 握 好 以 下 云 计 算 发 展 趋势 ， 并 抓 住 机 遇 发 展 。 


" 其 一 ， 云 时 代 信 息 安全 重要 性 日 益 凸 显 。 随 着 云 计算 和 移动 互联 网 的 普及 ， 越 来 越 多 的 业务 在 云端 开展 ， 越 来 越 多 的 数据 
在 云端 存储 ， 用 户 数 据 泄 露 或 丢失 是 云 计算 信息 安全 面临 的 巨大 安全 风险 。 因 此 ， 基 于 云 服 务 的 安全 防护 难度 工作 虽然 加 大 ， 但 
这 一 领域 的 商业 价值 也 将 越发 凸显 。 


: 其 二 ， 重 直 领 域 融 合 加 深 将 带动 云 计算 市 场 迅猛 发 展 。 相 较 于 美国 等 发 达 国家 ， 我 国 云 计算 市 场 规模 仍 较 小 ， 云 计算 应 用 
领域 及 渗透 深度 有 很 大 的 发 展 空间 。 云 计算 服务 商 应 不 断 加 深 与 各 垂直 领域 的 融合 ， 开 拓 更 大 的 云 计 算 服务 空间 。 


. 其 三 ， 抓 住 智慧 城市 与 智慧 工业 发 展 契 机 。 作 为 云 计 算 应 用 的 重要 领域 ， 智 慧 城 市 与 智慧 工业 概念 兴起 ， 将 使 得 云 计 算 大 


有 可 为 ， 值 得 企业 发 力 。 


10.7 云 计算 生态 圈 建 设 


云 计算 企业 将 强化 云 生 态 体 系 建设 ,我 国 云 计算 市 场 在 经 过 几 年 的 发 展 ， 形 成 了 运营 商 、 互 联网 巨头 、|T 与 集成 商 等 大 块头 
厂商 。 同 时 ， 二 线 云 计算 厂商 也 开始 结盟 。 具 体 表现 以 下 几 类 : 


第 1 类 如 浪潮 、 青 云 、Ucloud 等 开始 构建 生态 圈 ; 第 二 类 如 宝 德 ， 直 接 投入 到 集成 商 太极 股份 怀抱 ;第 3 类 如 惠普 等 ， 直 接 
放弃 公有 云 ， 依 靠 微软 云 ; 第 4 类 如 华为 ， 从 被 集成 到 自己 建设 生态 系统 ; 第 5 类 是 阿里 云 ， 构 建 大 生态 系统 ， 如 阿里 云 与 万 国 
数据 建立 战略 合作 。 


前 3 类 基本 是 以 抱团 取暖 为 主 。 第 4 类 与 第 5 类 才 算 是 真正 构建 大 生态 系统 。 没 有 遍布 全 世界 的 数据 中 心 ， 将 是 不 完整 的 云 计 
算 厂 商 。 


各 商业 巨头 正 纷纷 打造 以 “我 ”为 主 的 云 生 态 ， 强 化 对 云 计 算 行业 的 掌控 力 。 例 如 阿里 云 推动 云 合 计划 ,计划 招募 1 万 家 云 
服务 商 ， 共 同 构建 生态 体系 ， 为 企业 、 政 府 等 用 户 提供 一 站 式 云 服务 。 腾 讯 云 发 布 “ 云 + 计划 ” ，5 年 将 投入 100 亿 元 打造 云 平 台 
及 建设 生态 体系 ， 吸 引 云 计算 产业 链 上 的 长 尾 企业 。 浪 潮 发 布 “ 云 腾 计 划 ”， 计划 3 年 内 发 展 3000 家 以 上 合作 伙伴 。 华 为 企业 云 
与 国内 100 多 家 各 行业 领先 的 合作 伙伴 、20 多 个 城市 达成 合作 ， 扩 展 行业 应 用 和 计算 能 力 。 乐 视 云 发 布 云 资源 、 云 视频 、 云 应 
用 、 云 发 行 、 云 曹 销 和 云 数据 6 大 场景 ， 致 力 打造 视频 云 生 态 ， 构 建 搭载 在 云 上 的 内 容 、 发 行 乃 至 用 户 的 商业 价值 链 和 生态 系 
统 。 百 度 推 出 “云图 计划 ”， 携 手 行业 合作 伙伴 共 建 生态 圈 ， 计 划 5 年 内 投入 100 亿 元 打造 百度 云 平台 及 生态 体系 。 


云 生 态 将 可 能 成 为 云 计算 行业 竞争 力 的 标志 ，2017 年 ， 各 三 家 将 实质 性 推动 去 生态 建设 ， 也 将 有 更 多 云 计算 企业 启动 云 生 
态 战略 。 


不 能 支持 公有 云 与 私有 云 之 间 迁 移交 互 的 混合 云 ， 将 不 是 大 企业 市 场 有 竞争 力 的 云 计算 服务 厂商 。 不 能 支持 公有 云 与 公有 云 
之 间 迁 移 的 公有 云 ， 将 不 是 让 人 放心 的 云 计 算 服 务 厂 商 。 


没有 竞争 就 没有 进步 。 跑 在 竞争 最 前 列 的 就 是 与 云 计算 密切 相关 的 领域 CDN (内 容 分 发 网 络 ) 。 更 激烈 的 竞争 将 发 生 在 ， 
视频 、 游 戏 、 金 融 、 智 慧 城 市 、 电 子 政 务 几 个 领域 。 以 视频 行业 为 例 ， 市 场 竞争 者 包括 百度 开放 云 、 乐 视 云 、 腾 讯 云 和 阿里 云 。 


10.8 云 计 算 发 展 趋势 展望 


1. 价 格 战 将 加 速 云 计 算 企业 优胜 劣 


根据 调研 机 构 调研 ， 国 内 外 云 计算 巨头 主导 的 价格 战 近年 来 持续 上 演 。 降 价 有 利于 云 计 算 更 快 普及 ， 将 加 速 中 国 云 计 算 市 场 
进化 历程 ， 同 时 也 会 直接 影响 云 计算 企业 收入 ， 可 能 加 速 产业 洗 牌 速度 。 阿 里 云 在 2016 年 进行 了 17 次 产品 价格 下 调 ， 如 此 降价 
幅度 ， 难 免 让 中 小 云 厂商 倍 感 压力 ， 甚 至 逐渐 失去 竞争 力 而 遭 到 淘汰 。 以 美国 市 场 为 例 ， 主 要 云 计算 三 商 推 动 的 价格 下 降 促 使 市 
场 整 合 ， 在 几 轮 降价 之 后 ， 美 国 由 几 十 家 云 服务 商 变 为 当前 的 三 家 主导 。 伴 随 价格 战 的 继续 ， 云 计算 企业 优胜 劣 沐 机 制 将 开始 显 
现 。 


2. 银 行业 将 稳步 加 快 推进 上 云 进 程 


2016 年 7 月 ， 中 国 银监会 发 布 《中国 银 行业 信息 科技 “十 三 五 ”发 展 规划 监管 指导 意见 (征求 意见 稿 ) 》， 提 出 银行 业 金 融 
机 构 要 稳步 开展 云 计算 应 用 ， 到 “十 三 五 ”末期 ， 面 向 互联 网 场景 的 重要 信息 系统 全 部 迁移 到 云 计算 架构 平台 ， 其 他 系统 迁移 比 
例 不 低 于 60%。 例 如 恒 丰 及 更 早 的 微 众 银行 使 用 云 计算 技术 构建 业务 系统 等 成 功 案 例 ， 也 将 对 银行 业 上 云 起 到 示范 作用 。 


2017 年 ， 在 政策 推动 下 ， 相 关 监 管 规则 和 标准 将 落地 和 完善 ， 针 对 银行 业务 的 云 计算 技术 、 解 决 方案 会 更 加 成 熟 和 安全 ， 
更 多 银行 将 基于 业务 需求 启动 上 云 进程 。 


3. 针 对 多 云 服务 的 管理 服务 将 会 出 现 


研究 机 构 调查 显示 ， 目 前 有 不 少 企 业 使 用 多 个 云 厂商 提供 的 云 服务 。 其 原因 一 是 为 缓解 风险 ， 当 一 个 供应 商 宕 机 时 ， 还 有 其 
他 供应 商 可 以 提供 服务 ; 二 是 为 降低 总 成 本 ， 提 供 商 的 某 些 服务 或 产品 价格 互 有 高 低 ， 通 过 多 云 可 以 选择 成 本 更 低 的 组 合 。 随 着 
企业 越 来 越 多 地 使 用 多 个 云 厂 商 提供 的 云 服务 ， 也 带 来 了 一 些 云 管理 的 问题 。 例 如 有 些 应 用 需要 在 异 构 环境 中 迁移 ， 有 些 需要 在 
多 个 异 构 云 环境 中 部 署 ， 有 些 需 要 跨 云 跨 网 络 运行 ， 有 些 需要 跨 云 进行 灾 难 备份 和 恢复 。 目 前 ， 类 似 管理 的 问题 主要 依靠 人 工 来 
处 理 ， 带 来 了 很 大 工作 量 。 


为 解决 上 述 难题 ， 方 便 多 云 资源 管控 的 云 管 理 平台 将 会 出 现 ， 为 企业 使 用 的 多 云 提 供 统一 管理 、 服 务 集成 、 费 用 管理 和 使 用 
统计 分 析 等 功能 ， 将 应 用 灵活 部 署 到 不 同 云 环 境 中 ， 在 不 同 云 环 境 中 动态 迁移 应 用 等 。 


4. 区 块 链 相 关 云 计算 产品 和 服务 将 涌现 


区 块 链 技术 的 应 用 开发 、 测 试 、 部 署 较为 复杂 ， 门 槛 仍然 较 高 。 云 计算 具有 资源 弹性 伸缩 、 成 本 低 、 可 靠 性 高 等 优势 ， 它 与 
区 块 链 结合 ， 可 以 帮助 企业 快速 低 成 本 地 开发 部 署 区 块 链 ， 促 进 区 块 链 技术 成 熟 ， 推 动 区 块 链 从 金融 向 更 多 领域 拓展 。 微 软 在 
Azure 云 平台 里 面 提供 区 块 链 即 服务 (BaaS) ， 并 正式 对 外 开放 ， 帮 助 开发 者 以 简便 、 高 效 的 方式 创建 区 块 链 环境 。1BM 也 宣布 
推出 区 块 链 服务 平台 ， 帮 助 开发 人 员 在 IBM 云 上 创建 、 部 署 、 运 行 和 监控 区 块 链 应 用 程序 。 


随 着 区 块 链 逐步 走向 应 用 ， 将 有 更 多 云 计算 企业 推出 区 块 链 产 品 和 服务 。 
5. 细 分 行业 云 服务 将 成 为 中 小 厂商 生存 之 道 


国际 和 国内 云 计 算 市 场 均 呈现 强 者 恒 强 的 局 面 ， 但 同时 可 以 看 到 ， 各 大 行业 巨头 提供 的 云 服务 存在 一 定 程度 的 同 质 化 ， 而 用 
户 需求 干 差 万 别 ， 呈 现 多 样 化 ， 各 大 行业 巨头 无 法 满足 各 类 用 户 的 具体 需求 。 随 着 云 计算 产业 生态 链 不 断 完 善 ， 行 业 分 工 呈 现 细 
化 趋势 ， 从 游戏 云 、 政 务 云 、 医 疗 云 ， 到 2016 年 快速 壮大 的 视频 云 ， 都 体现 出 了 行业 云 的 发 展 潜力 。 


在 云 计算 白热化 的 竞争 态势 下 ， 中 小 厂商 需要 瞄准 用 户 精 细 化 需求 ， 提 供 行业 云 等 差异 化 云 服务 ， 以 获得 竞争 优势 
6. 容 器 技术 应 用 将 更 为 普及 


容器 服务 具有 部 署 速度 快 、 开 发 和 测试 更 敏捷 、 系 统 利 用 率 高 、 资 源 成 本 低 等 优势 ， 随 着 容器 技术 的 成 熟 和 接受 度 越 来 越 
高 ， 容 器 技术 将 更 加 广泛 地 被 用 户 采 用 。 人 谷歌 的 Container Engine，AWS 的 Elastic Container Service， 微 软 的 Azure 
Container Service 等 容器 技术 日 益 成 熟 ， 容 器 集群 管理 平台 也 更 加 完善 ， 以 Kubernetes 为 代表 的 各 类 工具 可 帮助 用 户 实现 网 
络 、 安 全 与 存储 功能 的 容器 化 转型 。 国 内 各 公司 积极 进行 实践 ， 使 用 户 对 于 容器 技术 的 接受 度 得 到 提升 。 根 据 调研 机 构 数据 显 
示 ， 近 87% 的 用 户 表示 考虑 使 用 容器 技术 ， 容 器 技术 将 获得 更 为 广泛 的 部 署 。 


7. 企 业 上 云 进程 将 进一步 提速 


在 “互联 网 +”、《 中 国 制造 2025》 等 一 系列 策略 推动 和 企业 自身 转型 升级 迫切 需求 下 ， 企 业 越 来 越 重 视 信 息 技术 的 应 用 ， 
云 计算 无 疑 是 企业 更 快 部 署 信 息 化 应 用 的 “利器 ”， 诸 多 行业 企业 成 功 上 云 已 起 到 良好 示范 作用 。 国 内 云 计 算 服 务 能 力 日 趋 完 
善 ,价格 不 断 下 降 ， 为 企业 上 云 提供 了 较 好 的 条 件 。 另 据 !IDG2016 年 11 月 发 布 的 报告 ， 在 调研 企业 中 ， 目 前 有 70% 的 企业 至 少 


运行 着 一 个 云 应 用 ， 在 未 使 用 云 应 用 的 企业 中 有 90% 计 划 在 未 来 12 个 月 内 或 1~ 3 年 内 使 用 云 应 用 。 在 政策 利好 、 企 业 数 字 化 转型 
和 云 计 算 行业 加 速 发 展 等 各 方面 助 推 下 ， 企 业 将 进一步 加 快 上 云 步 伐 。 


8. 企 业 级 SaaS 服 务 走向 个 性 化 、 定 制 化 


据 不 完全 统计 ， 截 至 2016 年 年 底 ， 国 内 企业 级 Saas 云 服务 各 领域 创业 项 目 数量 有 近 400 家 ， 涉 及 20 余 个 领域 ， 包 括 企业 报 
销 、 企 业 商 旅 、CRM、ERP、HR、OA、 协 同 办 公 、 收 银 支 付 和 考勤 管理 等 。 几 乎 在 企业 管理 的 每 一 个 领域 ， 都 有 诸多 垂直 
SaasS 服 务 解 决 方案 。 企 业 客户 有 了 较 多 选择 性 ， 便 会 对 使 用 体验 提出 更 高 的 要 求 。 随 着 云 服务 的 不 断 升级 ， 统 一 的 云 服务 已 经 
不 能 完全 满足 企业 需求 ， 不 同行 业 、 不 同 企业 需要 更 具 针 对 性 的 解决 方案 ， 定制 化 、 个 性 化 云 服务 更 能 解决 企业 管理 痛 点 ， 赢 得 
市 场 。 目 前 已 经 有 一 些 企业 开展 了 相关 布局 ， 可 根据 企业 不 同 需求 定制 不 同 的 模块 化 服务 。 


未 来 几 年 ， 将 有 更 多 企业 推出 个 性 化 、 定 制 化 的 Saas 服 务 。 


10.9 “本章 小 结 


本 章 展 望 了 云 计算 天 键 技 术 、 基 础 装备 建设 、 云 计算 安全 、 云 计算 标准 制定 、 云 计算 生态 圈 的 发 展 趋势 。 云 计算 的 商务 模式 
创新 ， 云 计算 的 产业 形态 都 在 发 生 着 日 新 月 异 的 变化 ， 新 的 云 服 务 形式 、 新 的 云 应 用 项 目 将 不 断 涌现 。 


10.10 ”习题 


1. 简 述 云 计 算 关 键 技术 发 展 趋势 。 
2. 简 述 当 下 的 云 服务 模式 有 哪些 。 
3. 给 出 云 计 算 硬件 系统 平台 逻辑 拓扑 。 


4. 给 出 云 操作 系统 的 基本 概念 。 


